dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLAMA Toate componentele LlamaIndex & Data RAG

TokenTextSplitter: Fragmentare Determinată pe Baza Tokenilor LLM în LlamaIndex & Data RAG

Ingestie, Parsare & Indexare llama-index-core 0.12+ Q&A AI / Distribuie cod
Sintaxă & invocare Python 
splitter = TokenTextSplitter(chunk_size=512, chunk_overlap=64)

TokenTextSplitter segmentează conținutul documentelor numărând direct tokenii conform algoritmului de tokenizare BPE (Byte Pair Encoding) al modelului ales (ex: cl100k_base pentru GPT-4), prevenind tăierea inegală cauzată de diferențele dintre caractere și tokeni.

from llama_index.core.node_parser import TokenTextSplitter

splitter = TokenTextSplitter(chunk_size=512, chunk_overlap=50)
nodes = splitter.get_nodes_from_documents(documents)

Previzibilitate: Asigură că fiecare nod se încadrează milimetric în cotele de memorie și procesare ale LLM-ului.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: TokenTextSplitter: Fragmentare Determinată pe Baza Tokenilor LLM

Ai o întrebare despre TokenTextSplitter: Fragmentare Determinată pe Baza Tokenilor LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.