Ce înseamnă Top-p (nucleus sampling)
Top-p, numit și nucleus sampling (eșantionare de tip nucleu), este o metodă prin care un model de limbaj alege următorul token doar dintre cele mai probabile variante, eliminând „coada lungă” a variantelor improbabile. Parametrul p este un număr între 0 și 1.
Dacă top-p este 0,9, modelul ordonează tokenii posibili de la cel mai probabil la cel mai puțin probabil și îi păstrează pe primii, până când probabilitățile lor adunate ajung la 90%. Restul sunt ignorați, iar alegerea se face la întâmplare doar dintre cei păstrați, proporțional cu probabilitatea fiecăruia.
Metoda a fost propusă în 2019 de Ari Holtzman și colegii săi, care au observat că alegerea mereu a celui mai probabil cuvânt produce texte repetitive, iar alegerea complet aleatoare produce texte incoerente. Top-p este un compromis între cele două.
Cum funcționează
Avantajul față de o limită fixă (de exemplu „păstrează mereu primele 40 de variante”, metodă numită top-k) este că top-p se adaptează. Când modelul este foarte sigur (după „Ion Luca”, aproape sigur urmează „Caragiale”), nucleul conține un singur token. Când există multe continuări plauzibile (după „Azi am mâncat”), nucleul conține multe variante.
Top-p se folosește de obicei împreună cu temperatura. Mulți furnizori recomandă să modifici doar unul dintre cei doi parametri, nu pe amândoi deodată, ca să poți înțelege efectul.
Pe înțelesul tuturor
Imaginează-ți că alegi un restaurant. Cu top-p 0,9, faci lista localurilor preferate, începând cu favoritul, până când acestea acoperă 90% din ieșirile tale obișnuite, apoi tragi la sorți doar dintre ele. Localurile în care nu mergi aproape niciodată nu intră în tragere.
Exemplu
O aplicație care generează povești pentru copii folosește top-p 0,95, ca să permită variații interesante, dar fără cuvinte fără sens. O aplicație care completează formulare juridice folosește un top-p mic, ca modelul să rămână aproape de formulările cele mai probabile și mai sigure.
De reținut
- Top-p păstrează doar cele mai probabile variante, care împreună ating probabilitatea p.
- Elimină variantele improbabile, care pot face textul incoerent.
- Se folosește împreună cu temperatura; de obicei se ajustează doar unul dintre cei doi parametri.
Nu confunda
- Top-p vs. top-k: top-k păstrează un număr fix de variante (de exemplu 40); top-p păstrează câte variante sunt necesare pentru a atinge pragul de probabilitate.
- Top-p vs. temperatură: temperatura modifică probabilitățile tuturor variantelor; top-p taie variantele de la coadă.
Termeni înrudiți
- Temperatură (în AI): Setare care controlează cât de previzibile sau de variate sunt răspunsurile unui model: valorile mici dau răspunsuri sigure, cele mari, creative.
- Token: Bucata de text (cuvânt, parte de cuvânt sau semn) cu care lucrează un model de limbaj; limitele și costurile se măsoară în tokeni.
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- API (pentru modele AI): Interfața prin care programele trimit cereri unui model AI găzduit de un furnizor și primesc răspunsuri, fără să ruleze ele însele modelul.