În RLHF clasic cu PPO, pe lângă modelul antrenat există un model de valoare (critic) care estimează cât de bun este fiecare pas. Lucrarea DeepSeekMath (Shao et al., 2024) observă că acesta este de obicei un model de mărime comparabilă cu cel antrenat și aduce „o povară substanțială de memorie și calcul”.
GRPO renunță la modelul de valoare. Pentru fiecare întrebare, modelul generează un grup de răspunsuri; recompensa medie a grupului devine referința. Avantajul fiecărui răspuns este recompensa lui minus media grupului, împărțită la abaterea standard a grupului.
Divergența KL față de modelul de referință se adaugă direct în funcția de pierdere, nu în recompensă. DeepSeek-R1 (2025) a folosit GRPO pentru antrenarea prin RL a capacităților de raționament.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
Mărimea grupului (G) |
Câte răspunsuri se generează pentru aceeași întrebare: 64 în DeepSeekMath, 16 în DeepSeek-R1. |
Recompensă de acuratețe |
În DeepSeek-R1-Zero, regulă care verifică dacă rezultatul final este corect (de exemplu la matematică sau prin teste la cod). |
Recompensă de format |
În DeepSeek-R1-Zero, recompensă pentru plasarea raționamentului între etichetele <think> și </think>. |
Avantaj normalizat |
(recompensa − media grupului) / abaterea standard a grupului. |
Penalizare KL |
Termen în pierdere care ține modelul aproape de modelul de referință. |
Exemple practice și scenarii reale
Exemplul 1: Calculul avantajului pentru un grup de 4 răspunsuri (exemplu ilustrativ)
Recompensele sunt inventate pentru exemplu; abaterea standard este cea a populației.
Problemă: 2x + 6 = 14
Răspuns 1: x = 4, format corect recompensă 1.0
Răspuns 2: x = 4, format corect recompensă 1.0
Răspuns 3: x = 5 recompensă 0.0
Răspuns 4: x = 4, fără format recompensă 0.5
media = 0.625, abaterea standard ≈ 0.415
avantaj: R1, R2 ≈ +0.90 R3 ≈ -1.51 R4 ≈ -0.30
R1 și R2 sunt întărite; R3 și (mai puțin) R4 sunt descurajate.Greșeli frecvente și capcane
- Crezi că GRPO elimină orice model de recompensă. GRPO elimină modelul de valoare; recompensa poate veni dintr-un model antrenat (ca în DeepSeekMath) sau din reguli (ca în DeepSeek-R1).
- Folosești un model de recompensă neural pe sarcini de raționament fără control. Autorii DeepSeek-R1 au evitat modelele de recompensă neurale pentru raționament pentru că sunt vulnerabile la „reward hacking” în RL la scară mare.
- Aplici recompense bazate pe reguli unde nu există un răspuns verificabil. Ele funcționează când corectitudinea se poate verifica automat (matematică, cod cu teste).