cl100k_base extinde spațiul de tokeni la 100k, oferind o densitate cu 30% mai mare pe codul sursă și texte scrise în limba română comparativ cu vechea schemă r50k_base.
Exemplu de calcul tokeni
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
text = "Ghid complet de inteligență artificială pe DexBlog."
tokens = enc.encode(text)
print(f"Număr tokeni: {len(tokens)}")
print(f"ID-uri numerice: {tokens}")
print(f"Decodare verificată: {enc.decode(tokens)}")Biblioteca oficială tiktoken este scrisă în Rust, procesând peste 1 milion de caractere pe secundă.
Întrebări & Discuții: Schema de Codare cl100k_base în tiktoken: Tokenizarea de Mare Viteză în GPT-4
Ai o întrebare despre Schema de Codare cl100k_base în tiktoken: Tokenizarea de Mare Viteză în GPT-4 sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.