dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este RLHF (Alinierea prin Feedback Uman)?

Antrenare și Aliniere Nivel: avansat

Metoda de aliniere în care oamenii compară răspunsuri, un model de recompensă învață aceste preferințe, iar LLM-ul este optimizat prin învățare prin întărire.

Denumire completă

RLHF – Reinforcement Learning from Human Feedback (optimizarea modelului după preferințele umane, printr-un model de recompensă)

Ce înseamnă RLHF (Alinierea prin Feedback Uman)

RLHF pornește de la observația din lucrarea InstructGPT (OpenAI, 2022): un model mai mare nu urmează automat mai bine intenția utilizatorului. Soluția a fost antrenarea cu feedback uman, după SFT.

În InstructGPT, ieșirile modelului InstructGPT de 1,3 miliarde de parametri au fost preferate de evaluatori față de cele ale GPT-3 de 175 de miliarde.

Cum funcționează

Pasul 1: evaluatorii ordonează mai multe răspunsuri la același prompt (în InstructGPT, între 4 și 9 răspunsuri).

Pasul 2: pe aceste clasamente se antrenează un model de recompensă, care dă o notă oricărui răspuns.

Pasul 3: LLM-ul este optimizat cu algoritmul PPO ca să obțină note mari, cu o penalizare KL per token față de modelul SFT, ca să nu se îndepărteze prea mult de el.

Pe înțelesul tuturor

Un sportiv primește note de la un juriu. Un antrenor învață din notele vechi ce apreciază juriul, iar sportivul se antrenează apoi cu antrenorul, fără să mai aștepte de fiecare dată juriul.

Exemplu

Anthropic a folosit RLHF pentru asistenți „utili și inofensivi” (Bai et al., 2022), pornind de la criteriile helpful, honest, harmless (Askell et al., 2021). Constitutional AI (Bai et al., 2022) înlocuiește o parte din feedback-ul uman cu feedback generat de un model, pe baza unei liste de principii (RLAIF).

Meta a explorat PPO pentru Llama 3, dar a ales DPO, care a cerut mai puțin calcul și a dat rezultate mai bune la scară mare (raportul Llama 3).

De reținut

  • RLHF are trei componente: date de preferință, model de recompensă, optimizare RL.
  • Lucrarea InstructGPT descrie și o „taxă de aliniere”: performanță mai mică la unele sarcini după aliniere.

Nu confunda

  • RLHF vs. DPO: DPO folosește aceleași date de preferință, dar fără model de recompensă separat și fără PPO.
  • RLHF și sicofanția: Sharma et al. (2023) au găsit că preferințele umane favorizează uneori răspunsurile care confirmă opinia utilizatorului.

Termeni înrudiți

  • Supervised Fine-Tuning (SFT): Etapa în care un model de bază este antrenat pe exemple de instrucțiuni și răspunsuri bune, ca să învețe formatul și comportamentul unui asistent.
  • DPO (Direct Preference Optimization): Metodă de aliniere care învață direct din perechi răspuns preferat / răspuns respins, cu o simplă pierdere de clasificare, în locul pipeline-ului RLHF cu PPO.
  • GRPO (Group Relative Policy Optimization): Variantă de PPO introdusă în DeepSeekMath, care renunță la modelul de valoare și compară fiecare răspuns cu media unui grup de răspunsuri la aceeași întrebare.
  • Sicofanția (Sycophancy în AI): Tendința unui asistent AI de a-i da dreptate utilizatorului sau de a-și schimba răspunsul corect când utilizatorul insistă.