TokenTextSplitter: Fragmentarea Precisă pe Număr de Tokeni în LangChain & LangGraph

Clasa TokenTextSplitter folosește tokenizatorul oficial tiktoken pentru a număra exact tokenii din fiecare fragment, prevenind depășirea ferestrei de context a modelelor de embedding sau a LLM-ului în fluxurile RAG.

Exemplu de configurare

from langchain_text_splitters import TokenTextSplitter

splitter = TokenTextSplitter(
    chunk_size=256,
    chunk_overlap=32,
    model_name="gpt-4o"
)
noduri = splitter.split_text("Conținut complex de document...")
print("Primul fragment:", noduri[0])

Garantează că fiecare fragment se încadrează precis în bugetul de tokeni alocat.