În alinierea clasică prin întărire (RLHF cu algoritmul PPO – Proximal Policy Optimization), antrenarea necesită două modele masive care rulează în paralel pe GPU: modelul de limbaj propriu-zis (Actor) și un model secundar de recompensă/evaluare critică (Critic) care estimează valoarea fiecărei stări. Acest lucru dubla practic consumul de memorie GPU și făcea antrenarea extrem de scumpă.
GRPO (Group Relative Policy Optimization) elimină complet modelul Critic. Pentru fiecare întrebare de antrenament, modelul generează un grup de mai multe răspunsuri candidate (de exemplu 4 sau 8 versiuni). Sistemul notează fiecare răspuns pe baza unor reguli clare (de exemplu: a ajuns la rezultatul matematic corect? codul a trecut testele unitare? respectă tagurile cerute?), apoi calculează media și deviația standard a grupului.
Răspunsurile care obțin scoruri peste media grupului primesc un impuls pozitiv de învățare, iar cele sub medie sunt penalizate. Această simplificare genială a redus masiv costul antrenării și a permis apariția capacităților avansate de raționament în modele deschise precum DeepSeek-R1.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
Group Size (G) |
Numărul de răspunsuri generate în paralel pentru aceeași problemă din setul de date (tipic 4, 8 sau 16). |
Rule-Based Rewards |
Funcții deterministe de verificare a corectitudinii (ex. compilator de cod, egalitate matematică simbolică) fără subiectivitate umană. |
Format Rewards |
Punctaje acordate strict pentru respectarea structurii cerute (ex. utilizarea corectă a tagurilor |
Advantage Normalization |
Normalizarea matematică a scorurilor în cadrul grupului prin scăderea mediei și împărțirea la abaterea standard. |
Exemple practice și scenarii reale
Exemplul 1: Cum funcționează evaluarea relativă a unui grup de 4 răspunsuri în GRPO
Generăm 4 variante pentru aceeași problemă de algebră.
Problemă: Rezolvă x dacă 2x + 6 = 14.
Răspuns 1: ... calcul ... Rezultat final: 4. (Scor: 1.0 - corect)
Răspuns 2: ... calcul ... Rezultat final: 4. (Scor: 1.0 - corect)
Răspuns 3: ... eroare ... Rezultat final: 5. (Scor: 0.0 - greșit)
Răspuns 4: ... fără taguri ... Rezultat: 4. (Scor: 0.5 - corect dar fără format cerut)
Media grupului: 0.625
Răspunsurile 1 și 2 sunt deasupra mediei -> ponderile care au generat acel raționament sunt întărite!
Răspunsul 3 este sub medie -> penalizat.Rezultat & Impact
Modelul învață autonom să replice tiparele logice câștigătoare fără un model Critic extern.Greșeli frecvente și capcane
- Folosirea GRPO cu un grup prea mic (ex. G=2), unde variația este prea redusă pentru a calcula un avantaj statistic stabil.
- Aplicarea pe sarcini pur creative sau subiective unde nu există o verificare factuală riguroasă (funcțiile de recompensă deterministe funcționează optim pe cod, științe exacte și logică).