PPO necesită un al doilea model masiv de aceeași mărime (Critic) pentru a estima valoarea stării. GRPO generează un grup de k răspunsuri paralele și normalizează recompensele direct în cadrul grupului.
Calculul matematic GRPO
# Eșantionează un grup de 4 răspunsuri pentru aceeași întrebare
rewards = [score(ans) for ans in group_answers]
mean_r = sum(rewards) / len(rewards)
std_r = (sum((r - mean_r)**2 for r in rewards) / len(rewards))**0.5
# Calculează avantajul relativ pentru fiecare răspuns
advantages = [(r - mean_r) / (std_r + 1e-6) for r in rewards]Permite antrenarea prin învățare prin întărire a modelelor masive de 671 de miliarde de parametri.
Întrebări & Exemple practice:
Algoritmul GRPO: Calculul Avantajului Relativ de Grup Fără Model CriticAi o întrebare despre Algoritmul GRPO: Calculul Avantajului Relativ de Grup Fără Model Critic sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.