Algoritmul GRPO: Group Relative Policy Optimization Fără Model Critic în DeepSeek (V4 & R1)

În învățarea prin întărire convențională cu PPO (Proximal Policy Optimization), antrenarea necesită alocarea în memoria GPU a unei rețele separate de aceeași dimensiune cu modelul principal, numită rețeaua Critică (Value Network), pentru a aproxima recompensa de bază (baseline). Acest lucru dublează consumul de memorie VRAM.

Algoritmul GRPO (Group Relative Policy Optimization) dezvoltat de echipa DeepSeek elimină complet rețeaua Critică. În schimb, pentru fiecare întrebare, modelul generează un grup de răspunsuri candidate (de exemplu, G = 8 răspunsuri independente):

# Formulă conceptuală GRPO:
# Avantajul fiecărui răspuns este normalizat relativ la scorul mediu al grupului
recompense_grup = [r1, r2, r3, r4, r5, r6, r7, r8]
medie_grup = sum(recompense_grup) / len(recompense_grup)
deviatie_std = (sum((r - medie_grup)**2 for r in recompense_grup) / len(recompense_grup)) ** 0.5

# Avantajul calculat fără rețea Critică separată:
avantaj_i = [(r - medie_grup) / (deviatie_std + 1e-6) for r in recompense_grup]

Această abordare a permis antrenarea capacităților masive de raționament matematic și logic ale DeepSeek-R1 la o fracțiune din costul computațional al sistemelor tradiționale.