Ce înseamnă RLHF (învățare din feedback uman)
RLHF (Reinforcement Learning from Human Feedback, în română învățare prin întărire din feedback uman) este o metodă prin care un model de limbaj învață să dea răspunsuri pe care oamenii le consideră utile, corecte, clare și sigure. În loc să i se arate răspunsul perfect, modelul învață din preferințele exprimate de oameni.
Metoda a fost folosită pe scară largă de OpenAI pentru InstructGPT (2022) și pentru ChatGPT și a contribuit mult la faptul că acești chatboți par cooperanți și politicoși. Variante ale ei sunt folosite de majoritatea companiilor care dezvoltă asistenți AI.
RLHF este una dintre principalele tehnici de aliniere, dar are limite: modelul poate învăța să spună ce le place oamenilor să audă (în engleză sycophancy, lingușire) în loc de ce este adevărat, iar evaluatorii pot avea ei înșiși prejudecăți sau pot greși.
Cum funcționează
Procesul clasic are trei pași. Întâi, modelul generează mai multe răspunsuri la aceeași întrebare, iar evaluatori umani le compară și aleg răspunsul mai bun. Apoi, din mii de astfel de comparații se antrenează un model de recompensă, care învață să dea o notă oricărui răspuns, imitând preferințele oamenilor. În final, modelul de limbaj este antrenat prin învățare prin întărire (de exemplu cu algoritmul PPO) să producă răspunsuri care primesc note cât mai mari.
Există și alternative mai simple, precum DPO (Direct Preference Optimization), care învață direct din perechile de preferințe, fără un model de recompensă separat, și metode în care o parte din feedback vine de la un alt model AI, ghidat de un set de principii scrise, cum este Constitutional AI, dezvoltată de Anthropic.
Pe înțelesul tuturor
RLHF seamănă cu felul în care un bucătar învață gustul clienților: nu primește o rețetă perfectă, ci servește două variante ale aceluiași fel și află care a plăcut mai mult. După mii de astfel de degustări, știe ce preferă clienții.
Exemplu
La întrebarea „cum scap de durerea de cap?”, modelul generează două răspunsuri. Primul este o listă lungă de medicamente cu doze. Al doilea dă câteva sfaturi generale, explică semnele care cer un medic și recomandă un control dacă durerea persistă. Evaluatorii îl aleg pe al doilea. Repetând acest proces de mii de ori, modelul învață să răspundă util, dar prudent, la întrebările medicale.
De reținut
- RLHF învață modelul din preferințele oamenilor, nu din răspunsuri perfecte.
- Folosește un model de recompensă și învățare prin întărire.
- A făcut chatboții mai utili și mai siguri, dar poate încuraja răspunsurile pe placul utilizatorului.
Nu confunda
- RLHF vs. instruction tuning: instruction tuning arată răspunsuri model; RLHF compară răspunsuri și învață care este mai bun.
- RLHF vs. butoanele de feedback din aplicație: aprecierile pe care le dai unui răspuns pot fi folosite la antrenări viitoare, dar nu schimbă modelul pe loc.
Termeni înrudiți
- Învățare prin întărire: Metoda prin care un agent AI învață prin încercare și eroare, primind recompense pentru acțiunile bune și penalizări pentru cele rele.
- Alinierea AI: Efortul de a face sistemele AI să urmărească scopurile, valorile și intențiile oamenilor, nu doar instrucțiunile lor literale.
- Instruction tuning: Etapa de antrenare în care un model de limbaj învață să urmeze instrucțiuni, din exemple de tipul „cerere – răspuns bun”.
- Fine-tuning: Antrenarea suplimentară a unui model deja antrenat, pe un set mic de exemple, ca să se specializeze pe o sarcină, un domeniu sau un stil.
- Etichetarea datelor: Munca prin care oamenii adaugă răspunsul corect la fiecare exemplu (de pildă „pisică” la o poză), ca un model să poată învăța din el.
- Human in the loop: Un mod de a construi sisteme AI în care un om verifică, aprobă sau corectează deciziile importante înainte să aibă efect.