Optimizarea Kahneman-Tversky (KTOTrainer) pe Feedback Binar în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Metoda KTO (Kahneman-Tversky Optimization) se bazează pe teoria perspectivelor din psihologia comportamentală. Spre deosebire de DPO care cere ca fiecare intrare să aibă atât chosen cât și rejected, KTO funcționează direct pe mostre individuale etichetate simplu ca desirable=True sau desirable=False (echivalentul butonului de Like/Dislike din interfețele web reale).

from trl import KTOTrainer, KTOConfig

kto_args = KTOConfig(
    output_dir="./kto_outputs",
    beta=0.1,
    desirable_weight=1.0,
    undesirable_weight=1.0,
)

Este soluția ideală pentru valorificarea datelor reale de telemetrie unde utilizatorii au dat doar Like sau Dislike unui răspuns.