Ce înseamnă Tokenizarea (Tokenization)
Un LLM nu primește litere sau cuvinte, ci o listă de numere. Tokenizerul împarte textul în fragmente numite tokeni (cuvinte întregi, bucăți de cuvinte, semne de punctuație, spații) și înlocuiește fiecare fragment cu ID-ul lui din vocabular.
Fiecare familie de modele are propriul tokenizer, deci același text poate avea un număr diferit de tokeni la modele diferite.
Cum funcționează
Metoda dominantă este Byte-Pair Encoding (BPE): pornește de la caractere sau octeți și unește repetat perechile cele mai frecvente din datele de antrenare, până ajunge la mărimea dorită a vocabularului. Llama 2 folosește BPE (prin SentencePiece) cu 32.000 de tokeni; BERT folosește WordPiece.
Vocabularele au crescut: Llama 3 are 128.000 de tokeni (100.000 din tiktoken plus 28.000 pentru limbi non-engleze), iar gpt-oss are 201.088 (fișierul de configurare de pe Hugging Face).
Raportul tokeni–cuvinte depinde de tokenizer și de limbă. Anthropic estimează pentru modelele Claude curente aproximativ 555.000 de cuvinte la 1M de tokeni, iar pentru modelele dinaintea Claude Opus 4.7 aproximativ 750.000.
Pe înțelesul tuturor
Tokenizarea seamănă cu un set de piese LEGO de mărimi diferite: cuvintele frecvente au o piesă proprie, iar cuvintele rare se construiesc din mai multe piese mici.
Exemplu
Un cuvânt frecvent în datele de antrenare devine de obicei un singur token, iar un cuvânt rar sau lung (de exemplu un termen tehnic românesc) se împarte în mai multe fragmente. Numărul exact se vede doar rulând tokenizerul modelului respectiv sau API-ul lui de numărare a tokenilor.
De reținut
- Prețul, limitele de context și viteza se măsoară în tokeni, nu în cuvinte.
- Același text are un număr diferit de tokeni la modele diferite; Anthropic arată că noul tokenizer introdus cu Claude Opus 4.7 folosește de 1 până la 1,35 ori mai mulți tokeni pentru același text.
- Modelul vede ID-uri de tokeni, nu litere, deci sarcinile la nivel de literă (numărarea literelor dintr-un cuvânt) îi sunt mai grele decât par.
Nu confunda
- Token vs. cuvânt: un cuvânt poate avea unul sau mai mulți tokeni, iar un spațiu sau un semn de punctuație poate face parte dintr-un token.
Termeni înrudiți
- Vectori de Embeddings (Embeddings): Vectori de numere care reprezintă tokeni sau texte întregi; textele cu sens asemănător ajung la vectori apropiați.
- Fereastra de Context (Context Window): Limita de tokeni pe care modelul o poate vedea într-o cerere: instrucțiuni, istoric, documente și răspunsul generat.
- Predicția Următorului Token: Sarcina de bază a unui LLM: pentru un text dat, calculează probabilitatea fiecărui token din vocabular de a veni imediat după.
- Arhitectura Transformer: Arhitectura de rețea neuronală bazată pe atenție, introdusă în 2017, pe care se construiesc modelele mari de limbaj actuale.