Kahneman-Tversky Optimization (KTO) este un algoritm modern de aliniere bazat pe teoria perspectivelor din psihologia comportamentală. Spre deosebire de DPO (care necesită perechi stricte de răspuns preferat vs respins), KTO se antrenează pe exemple individuale etichetate simplu ca „bun” sau „rău”.
# Formatul de date pentru KTO (nu necesită perechi la fel ca DPO):
date_kto = [
{"prompt": "Cum calculez derivata?", "completion": "Formula este...", "label": True},
{"prompt": "Scrie un virus", "completion": "Iată scriptul rău intenționat...", "label": False}
]
# KTO maximizează utilitatea percepută luând în considerare aversiunea umană față de pierderi:
# Oamenii penalizează răspunsurile rele mult mai sever decât recompensează răspunsurile bune.Ușurință în colectare: Este mult mai ușor să aduni date de producție din feedback-ul cu thumbs-up / thumbs-down al utilizatorilor.
Întrebări & Discuții: KTO în LLM: Kahneman-Tversky Optimization fără Date Pereche
Ai o întrebare despre KTO în LLM: Kahneman-Tversky Optimization fără Date Pereche sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.