Ce este Temperatura în Generare?

Ce înseamnă Temperatura în Generare

Temperatura schimbă forma distribuției peste vocabular înainte ca tokenul următor să fie ales. O temperatură mică face tokenul cel mai probabil și mai dominant. O temperatură mare aplatizează distribuția și dă șanse mai mari tokenilor mai puțin probabili.

Referința API-ului OpenAI (Responses) acceptă valori între 0 și 2, dă ca exemple 0,2 (mai concentrat) și 0,8 (mai aleator) și recomandă să modifici fie temperature, fie top_p, nu pe amândouă.

Cum funcționează

Fiecare logit z_i se împarte la temperatura T înainte de softmax: p_i = exp(z_i / T) / Σ exp(z_j / T).

Când T se apropie de 0, alegerea tinde spre tokenul cel mai probabil (decodare greedy). La T = 1 distribuția rămâne cea calculată de model; peste 1 devine mai plată.

Pe înțelesul tuturor

La temperatură mică, un bucătar respectă rețeta la gram. La temperatură mare, încearcă și ingrediente neobișnuite: uneori iese ceva bun, alteori ceva greu de mâncat.

Exemplu

Modelele de raționament au reguli proprii. La OpenAI, pentru GPT-6 Astra, GPT-6.1 Sol și celelalte modele GPT-6, temperature și top_p trebuie scoase din cerere când reasoning effort nu este none. La Anthropic, ghidul de migrare la Claude Opus 5.5 cere eliminarea temperature, top_p și top_k și recomandă controlul comportamentului prin prompt.

La modelele deschise, autorii dau valori recomandate: Qwen3 recomandă temperatura 0,6 în modul de gândire și 0,7 fără gândire și avertizează să nu folosești decodare greedy; DeepSeek-R1 recomandă 0,5–0,7 (0,6 ideal).

De reținut

• Temperatura schimbă diversitatea eșantionării, nu cunoștințele modelului.
• Temperatura 0 nu garantează ieșiri identice: ghidul Anthropic notează că nu a garantat asta nici pe modelele anterioare.
• Nu toate API-urile și modelele mai acceptă acest parametru; verifică documentația modelului.

Nu confunda

• Temperatură vs. top-p: temperatura reformează toată distribuția; top-p taie coada de tokeni puțin probabili.

Termeni înrudiți

• Top-P (Nucleus) și Top-K Sampling: Două filtre aplicate distribuției de probabilitate: top-k păstrează un număr fix de tokeni, top-p cei mai probabili tokeni până la o probabilitate cumulată.
• Predicția Următorului Token: Sarcina de bază a unui LLM: pentru un text dat, calculează probabilitatea fiecărui token din vocabular de a veni imediat după.
• Halucinațiile în LLM: Răspunsuri plauzibile, dar false, pe care modelul le generează cu aceeași încredere ca pe cele corecte.
• Tokeni de Gândire (etichetele think): Tokenii pe care un model de raționament îi generează înainte de răspunsul final și felul în care fiecare furnizor îi separă, afișează sau ascunde.