Ce înseamnă Top-P (Nucleus) și Top-K Sampling
Chiar dacă majoritatea tokenilor au probabilități foarte mici, la eșantionare oricare poate fi ales. Holtzman et al. (2019) au arătat că eșantionarea din toată distribuția sau, dimpotrivă, alegerea mereu a celui mai probabil token dau text de calitate slabă, și au propus nucleus sampling (top-p).
Top-k și top-p taie „coada” distribuției, tokenii puțin probabili, înainte de extragere.
Cum funcționează
Top-K: păstrează cei mai probabili K tokeni și renormalizează probabilitățile lor. Top-K = 1 este echivalent cu decodarea greedy.
Top-P: sortează tokenii după probabilitate și îi păstrează pe primii până când suma probabilităților atinge P. Numărul de tokeni păstrați variază: puțini când modelul este sigur, mai mulți când contextul este deschis. Referința OpenAI explică: top_p = 0,1 înseamnă că sunt luați în calcul doar tokenii din primele 10% ale masei de probabilitate.
Pe înțelesul tuturor
Un somelier nu îți aduce toată pivnița. În modul top-k îți aduce mereu primele 5 sticle; în modul top-p îți aduce atâtea câte sunt necesare ca să acopere 90% din ce comandă de obicei clienții.
Exemplu
Qwen3 recomandă pentru modul de gândire TopP = 0,95 și TopK = 20, iar fără gândire TopP = 0,8 și TopK = 20 (model card-ul oficial).
Disponibilitatea diferă: API-ul OpenAI are top_p, dar nu are top_k; modelele Claude curente nu mai acceptă niciunul dintre ele.
De reținut
- OpenAI recomandă să ajustezi fie temperatura, fie top-p, nu pe amândouă.
- Valorile bune depind de model; folosește-le pe cele recomandate de autorul modelului.
Nu confunda
- Top-p vs. temperatură: top-p elimină tokeni din calcul; temperatura doar le schimbă probabilitățile relative.
Termeni înrudiți
- Temperatura în Generare: Parametrul care ascute sau aplatizează distribuția de probabilitate a tokenilor: valori mici dau răspunsuri mai previzibile, valori mari mai variate.
- Predicția Următorului Token: Sarcina de bază a unui LLM: pentru un text dat, calculează probabilitatea fiecărui token din vocabular de a veni imediat după.
- Halucinațiile în LLM: Răspunsuri plauzibile, dar false, pe care modelul le generează cu aceeași încredere ca pe cele corecte.