Ce este
SFT creează un model cooperant, dar nu garantează că răspunsurile sunt cele mai bune, mai nuanțate sau lipsite de toxicitate. RLHF aduce principiile teoriei jocurilor și învățării prin consolidare (Reinforcement Learning).
Evaluatori umani compară perechi de răspunsuri generate de model și votează care este mai bun. Un ‘model de recompensă’ (Reward Model) învață aceste preferințe, iar LLM-ul este optimizat printr-un algoritm (PPO) pentru a maximiza scorul de recompensă.
Analogia din viața reală
Este ca dresajul unui cățel sau pregătirea unui atlet pentru olimpiadă: când atletul execută o săritură impecabilă primește o notă mare și aplauze de la jurați (recompensă pozitivă); când comite o greșeală, pierde puncte. Treptat, sportivul își perfecționează tehnica pentru a obține nota maximă.
Cum funcționează tehnic
Pasul 1: Colectarea preferințelor umane (răspunsul A este mai util și mai sigur decât răspunsul B).
Pasul 2: Antrenarea unui Reward Model care atribuie o notă scalară oricărui răspuns generat.
Pasul 3: Optimizarea politicii LLM folosind algoritmul PPO (Proximal Policy Optimization), cu o penalizare KL Divergence pentru a preveni devierea prea mare de la modelul de bază.
Exemple practice și aplicații
- Criteriile HHH (Helpful, Honest, Harmless): asistentul trebuie să fie de ajutor, onest când nu știe ceva și inofensiv/sigur.
- Eliminarea tonului arogant sau a răspunsurilor agresive în conversații contradictorii.
Greșeli frecvente sau mituri
RLHF poate duce la efectul advers de ‘sicofanie’ (sycophancy) sau refuzuri excesive, unde modelul devine atât de prudent încât refuză să răspundă la întrebări benigne din frica de a fi penalizat.
Termeni înrudiți
dpo: Noțiune asociată din ghidul de Modele Mari de Limbaj.sft: Noțiune asociată din ghidul de Modele Mari de Limbaj.sycophancy: Noțiune asociată din ghidul de Modele Mari de Limbaj.