Ce este
Deși RLHF este foarte eficient, algoritmul său clasic (PPO) este extrem de instabil, greu de calibrat și consumator uriaș de memorie (necesită 4 modele concomitente în GPU).
În 2023, cercetătorii de la Stanford au demonstrat matematic că problema optimizării preferințelor poate fi rezolvată direct prin regresie logistică pe perechi de date preferate/respinse, fără a mai antrena un Reward Model separat.
Analogia din viața reală
Dacă la RLHF aveai nevoie de un arbitru plătit separat care să dea note la fiecare antrenament, la DPO îi arăți direct elevului două versiuni ale unei teme (‘aceasta e de nota 10, aceasta e de nota 4’) și îi ceri să își ajusteze direct stilul spre versiunea de nota 10, fără să mai complici procesul cu arbitri auxiliari.
Cum funcționează tehnic
DPO derivează o funcție de pierdere matematică închisă care crește probabilitatea răspunsului câștigător (chosen) și scade probabilitatea răspunsului pierzător (rejected).
Procesul este stabil, mult mai rapid și poate fi rulat cu resurse hardware comparabile cu un simplu fine-tuning supervizat.
Exemple practice și aplicații
- Seturi de date UltraFeedback folosite pentru a alinia modele open-source competitive cu GPT-4.
- Variante optimizate recente: ORPO (Odds Ratio Preference Optimization) și KTO (Kahneman-Tversky Optimization).
Greșeli frecvente sau mituri
DPO nu a făcut RLHF complet inutil; companiile mari din prima ligă (OpenAI, Anthropic) folosesc adesea un mix hibrid de DPO și RLHF pentru cel mai înalt nivel de siguranță.