Spre deosebire de modelele tradiționale antrenate prin mii de ore de ajustare fină supravegheată (SFT) pe conversații umane, DeepSeek-R1-Zero a demonstrat că un model de limbaj de bază poate învăța să raționeze autonom exclusiv prin învățare cu întărire (RL – Reinforcement Learning) ghidată de verificatori matematici și compilatoare de cod.
Algoritmul revoluționar din spatele acestei performanțe este GRPO (Group Relative Policy Optimization). În loc să utilizeze un model critic uriaș (Value Network) care dublează consumul de memorie GPU așa cum face PPO, GRPO eșantionează un grup de răspunsuri candidate pentru fiecare întrebare, calculează media recompenselor grupului și penalizează sau premiază răspunsurile în mod relativ.
Versiunea finală DeepSeek-R1 adaugă o etapă scurtă de ‘Cold Start’ de câteva mii de exemple lungi de gândire pentru a elimina defectele versiunii Zero (amestecul haotic de limbi și formatarea instabilă), permițând modelului să genereze pași de auto-corectare și backtracking impecabili în interiorul tag-urilor <think>.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
GRPO (Group Relative Policy Optimization) |
Algoritm de RL fără critic separat ce optimizează politica pe baza mediei și deviației standard a unui grup de răspunsuri. |
Rule-based Reward Verification |
Recompense deterministe acordate pe baza corectitudinii matematice sau a compilării codului (evită subiectivismul uman). |
Test-Time Reflection Loop |
Comportamentul emergent în care modelul își verifică pașii intermediari și își corectează propriile presupuneri greșite. |
Tokeni |
Tag-urile speciale ce delimitează fluxul de gândire ascuns de răspunsul final furnizat utilizatorului. |
Exemple practice și cod
Exemplul 1: Exemplu de comportament reflexiv în consola DeepSeek-R1
Cum arată procesul intern de backtracking la rezolvarea unei probleme logice.
> Câți de 'r' sunt în cuvântul 'strawberry'?
Utilizatorul întreabă despre numărul literei 'r' în cuvântul 'strawberry'.
Să descompun cuvântul literă cu literă:
s - t - r - a - w - b - e - r - r - y
Să număr fiecare apariție a lui 'r':
1. Poziția 3: 'r' (număr = 1)
2. Poziția 8: 'r' (număr = 2)
3. Poziția 9: 'r' (număr = 3)
Așteaptă, lasă-mă să reverific ortografia cuvântului pentru a fi 100% sigur.
s-t-r-a-w-b-e-r-r-y.
Prima silabă: s-t-r-a-w (un 'r')
A doua silabă: b-e-r-r-y (doi de 'r')
1 + 2 = 3. Corect, sunt exact 3 apariții.
Cuvântul **strawberry** conține exact **3** litere „r”.Rezultat & Impact
Răspuns matematic impecabil datorită verificării deductive în lanțul de gândire.Greșeli frecvente și bune practici
- Forțarea modelului prin prompturi vechi de tipul ‘Think step by step’ sau ‘Let’s think’; DeepSeek-R1 are raționamentul integrat nativ, iar forțarea manuală îi degradează performanța.
- Tăierea tokenilor de raționament din context înainte de terminarea gândirii prin limitarea drastică a parametrului `max_tokens`.