Ce înseamnă Predicția Următorului Token
Un LLM decoder-only face o singură operație, repetată: primește o secvență de tokeni și produce o distribuție de probabilitate peste tot vocabularul pentru tokenul următor. Tokenul ales se adaugă la secvență, iar pasul se repetă.
Aceeași sarcină este folosită la antrenare (pre-antrenare) și la generare (inferență).
Cum funcționează
Ultimul strat produce câte un scor brut (logit) pentru fiecare token din vocabular; la Llama 3 sunt 128.000 de scoruri.
Funcția softmax transformă scorurile în probabilități care însumează 1. Un algoritm de eșantionare (greedy, temperatură, top-p, top-k) alege apoi tokenul.
Pe înțelesul tuturor
Seamănă cu jocul în care fiecare participant adaugă un cuvânt la o poveste: ca să alegi bine, trebuie să ții minte personajele, ce s-a întâmplat și regulile limbii.
Exemplu
Pentru textul „Cerul senin este”, un model va da probabilitate mare unor continuări precum „ albastru” și probabilitate foarte mică unora precum „ verde”. Valorile exacte diferă de la un model la altul și se pot vedea doar cerând probabilitățile (logprobs), acolo unde API-ul le oferă.
De reținut
- Generarea este autoregresivă: fiecare token nou depinde de toți cei dinainte.
- Modelul produce o distribuție; alegerea concretă a tokenului ține de metoda de eșantionare.
Nu confunda
- Probabilitate mare vs. adevăr: tokenul cel mai probabil este cel mai plauzibil statistic, nu neapărat cel corect.
Termeni înrudiți
- Pre-antrenarea (Pre-training): Prima etapă de antrenare, în care modelul învață limba și cunoștințe generale prezicând următorul token pe trilioane de tokeni de text.
- Temperatura în Generare: Parametrul care ascute sau aplatizează distribuția de probabilitate a tokenilor: valori mici dau răspunsuri mai previzibile, valori mari mai variate.
- Top-P (Nucleus) și Top-K Sampling: Două filtre aplicate distribuției de probabilitate: top-k păstrează un număr fix de tokeni, top-p cei mai probabili tokeni până la o probabilitate cumulată.
- Tokenizarea (Tokenization): Pasul prin care textul este împărțit în tokeni, fragmente cu un ID numeric, singura formă de text pe care o primește modelul.
Întrebări & Discuții: Predicția Următorului Token
Ai o întrebare despre Predicția Următorului Token sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.