Algoritmii de tokenizare subword transformă textul brut în secvențe de numere întregi (tokeni), echilibrând dimensiunea vocabularului (32k – 128k) și lungimea secvenței generate, fără a întâmpina problema cuvintelor necunoscute (OOV).
# Byte-Pair Encoding (BPE):
# 1. Pornește de la caractere sau octeți individuali: ['p', 'r', 'o', 'g', 'r', 'a', 'm']
# 2. Identifică cea mai frecventă pereche adiacentă: ('r', 'o') -> 'ro'
# 3. Înlocuiește perechea iterativ până la atingerea dimensiunii dorite a vocabularului.
# Exemplu folosind biblioteca oficială tiktoken (OpenAI):
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokeni = enc.encode("Antigravity revoluționează programarea!")
print("Număr tokeni:", len(tokeni))
print("Token IDs:", tokeni)
print("Decodare înapoi:", enc.decode(tokeni))SentencePiece: Tratează spațiul ca pe un caracter nativ (simbolul ), permițând tokenizarea textelor multilingve fără reguli specifice de despărțire a cuvintelor.
Întrebări & Discuții: BPE, WordPiece și SentencePiece: Algoritmi de Tokenizare Subword în LLM
Ai o întrebare despre BPE, WordPiece și SentencePiece: Algoritmi de Tokenizare Subword în LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.