Nou Generator de prompt AI — scrie prompturi mai bune pentru ChatGPT, Claude și Gemini →

Ce este Predicția Următorului Token?

Sarcina de bază a unui LLM: pentru un text dat, calculează probabilitatea fiecărui token din vocabular de a veni imediat după.

Denumire completă

Next-Token Prediction – calcularea distribuției de probabilitate pentru tokenul următor dintr-o secvență

Ce înseamnă Predicția Următorului Token

Un LLM decoder-only face o singură operație, repetată: primește o secvență de tokeni și produce o distribuție de probabilitate peste tot vocabularul pentru tokenul următor. Tokenul ales se adaugă la secvență, iar pasul se repetă.

Aceeași sarcină este folosită la antrenare (pre-antrenare) și la generare (inferență).

Cum funcționează

Ultimul strat produce câte un scor brut (logit) pentru fiecare token din vocabular; la Llama 3 sunt 128.000 de scoruri.

Funcția softmax transformă scorurile în probabilități care însumează 1. Un algoritm de eșantionare (greedy, temperatură, top-p, top-k) alege apoi tokenul.

Pe înțelesul tuturor

Seamănă cu jocul în care fiecare participant adaugă un cuvânt la o poveste: ca să alegi bine, trebuie să ții minte personajele, ce s-a întâmplat și regulile limbii.

Exemplu

Pentru textul „Cerul senin este”, un model va da probabilitate mare unor continuări precum „ albastru” și probabilitate foarte mică unora precum „ verde”. Valorile exacte diferă de la un model la altul și se pot vedea doar cerând probabilitățile (logprobs), acolo unde API-ul le oferă.

De reținut

  • Generarea este autoregresivă: fiecare token nou depinde de toți cei dinainte.
  • Modelul produce o distribuție; alegerea concretă a tokenului ține de metoda de eșantionare.

Nu confunda

  • Probabilitate mare vs. adevăr: tokenul cel mai probabil este cel mai plauzibil statistic, nu neapărat cel corect.

Termeni înrudiți

  • Pre-antrenarea (Pre-training): Prima etapă de antrenare, în care modelul învață limba și cunoștințe generale prezicând următorul token pe trilioane de tokeni de text.
  • Temperatura în Generare: Parametrul care ascute sau aplatizează distribuția de probabilitate a tokenilor: valori mici dau răspunsuri mai previzibile, valori mari mai variate.
  • Top-P (Nucleus) și Top-K Sampling: Două filtre aplicate distribuției de probabilitate: top-k păstrează un număr fix de tokeni, top-p cei mai probabili tokeni până la o probabilitate cumulată.
  • Tokenizarea (Tokenization): Pasul prin care textul este împărțit în tokeni, fragmente cu un ID numeric, singura formă de text pe care o primește modelul.
Învață AI • Comunitate & Q&A

Întrebări & Discuții: Predicția Următorului Token

Ai o întrebare despre Predicția Următorului Token sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.