Ce înseamnă Token
Un token este cea mai mică unitate de text pe care o procesează un model de limbaj. Poate fi un cuvânt întreg („casa”), o parte de cuvânt („calcul” + „ator”), un semn de punctuație sau un cuvânt împreună cu spațiul dinaintea lui. Modelul nu vede litere sau cuvinte, ci o secvență de tokeni, fiecare reprezentat printr-un număr.
Tokenii sunt unitatea de măsură în lumea LLM-urilor: lungimea maximă a unei conversații (fereastra de context) se măsoară în tokeni, viteza modelului se exprimă în tokeni pe secundă, iar serviciile prin API se plătesc, de obicei, după numărul de tokeni trimiși și primiți.
În engleză, un token are în medie aproximativ patru caractere, adică cam trei sferturi dintr-un cuvânt. Limbile mai puțin prezente în datele de antrenare, inclusiv româna, au nevoie de obicei de mai mulți tokeni pentru același text, mai ales din cauza diacriticelor și a terminațiilor.
Cum funcționează
Înainte să ajungă la model, textul trece printr-un tokenizer, care îl împarte în tokeni după un vocabular fix, învățat din date (de obicei zeci sau sute de mii de tokeni posibili). Cuvintele frecvente devin un singur token; cele rare sunt sparte în bucăți.
Modelul generează și răspunsul tot token cu token. De aceea, LLM-urile au uneori dificultăți la sarcini legate de litere, de exemplu să numere de câte ori apare litera „r” într-un cuvânt: ele nu văd literele, ci bucăți de cuvinte.
Pe înțelesul tuturor
Tokenii seamănă cu piesele de Lego: un text nu este construit din litere separate, ci din piese de mărimi diferite. Cuvintele uzuale sunt o piesă mare, întreagă, iar cele rare se asamblează din mai multe piese mici.
Exemplu
Propoziția „Bună ziua, cum vă pot ajuta?” poate fi împărțită de un tokenizer în ceva de felul: „B”, „ună”, „ zi”, „ua”, „,”, „ cum”, „ vă”, „ pot”, „ aj”, „uta”, „?”. Exact cum se taie depinde de modelul folosit. Aceeași frază în engleză ar avea, de obicei, mai puțini tokeni.
De reținut
- Modelele de limbaj citesc și scriu în tokeni, nu în litere sau cuvinte.
- Limitele, viteza și costurile LLM-urilor se măsoară în tokeni.
- Româna consumă de obicei mai mulți tokeni decât engleza pentru același conținut.
Nu confunda
- Token vs. cuvânt: un cuvânt poate fi un singur token sau mai mulți; numărul de tokeni nu este egal cu numărul de cuvinte.
- Token în AI vs. token de securitate: în securitate, un token este un cod de autentificare (de exemplu, dispozitivul primit de la bancă sau o cheie de acces pentru un API); în AI, este o bucată de text.
- Token în AI vs. token în blockchain: în criptomonede, un token este un activ digital, fără legătură cu modelele de limbaj.
Termeni înrudiți
- Tokenizare: Procesul prin care textul este tăiat în tokeni și transformat în numere, singura formă pe care o poate procesa un model de limbaj.
- Fereastră de context: Cantitatea maximă de text, măsurată în tokeni, pe care un model o ia în calcul deodată: instrucțiuni, conversație, documente și răspuns.
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Embedding: Transformarea unui text, a unei imagini sau a unui sunet într-o listă de numere care îi surprinde sensul; lucrurile asemănătoare ajung apropiate.
- API (pentru modele AI): Interfața prin care programele trimit cereri unui model AI găzduit de un furnizor și primesc răspunsuri, fără să ruleze ele însele modelul.