Ce este
Vocabularul unui LLM are peste 100.000 de tokeni. Chiar dacă cele mai multe cuvinte au probabilități minuscule (0.0001%), dacă ai o temperatură ridicată, există riscul ca modelul să aleagă la un moment dat un cuvânt absurd care distruge fraza.
Top-K și Top-P (cunoscut și ca Nucleus Sampling) taie această ‘coadă lungă’ de cuvinte nepotrivite înainte de extragerea finală a tokenului.
Analogia din viața reală
Când ești la restaurant și comanzi un vin, chelnerul nu îți aduce o listă cu toate cele 10.000 de sticle din pivniță. În modul Top-K (să zicem K=5), îți prezintă strict primele 5 cele mai populare vinuri. În modul Top-P (P=0.9), îți aduce atâtea sticle de top cât să acopere 90% din preferințele oaspeților de seamă.
Cum funcționează tehnic
Top-K: Păstrează strict cele mai probabile K opțiuni (de exemplu K=40) și le ignoră pe toate celelalte, indiferent de probabilitatea lor cumulată.
Top-P (Nucleus): Sortează tokenii descrescător și îi păstrează doar pe primii a căror sumă de probabilități atinge pragul P (de exemplu 0.9 sau 90%). Este mai dinamic decât Top-K, adaptându-se contextului: dacă un cuvânt este cert, ia doar 1-2 opțiuni; dacă contextul este deschis, ia mai multe.
Exemple practice și aplicații
- Top-P = 0.9: Standardul industriei pentru un echilibru perfect între coerență logică și vocabular natural.
- Top-K = 1 este matematic echivalent cu Greedy Decoding (alege doar primul clasat).
Greșeli frecvente sau mituri
Se recomandă de regulă ajustarea fie a Temperaturii, fie a parametrului Top-P, nu a ambelor simultan, pentru a păstra predictibilitatea comportamentului de generare.
Termeni înrudiți
temperatura: Noțiune asociată din ghidul de Modele Mari de Limbaj.next-token-prediction: Noțiune asociată din ghidul de Modele Mari de Limbaj.