Sliding Window Chunking împarte textul în blocuri de mărime fixă, menținând o zonă de suprapunere între ferestre consecutive (de regulă 10-20% din mărimea chunk-ului). Această suprapunere garantează că propozițiile sau conceptele aflate pe linia de demarcație nu își pierd contextul critic.
from langchain_text_splitters import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=800,
chunk_overlap=150,
separators=["\n\n", "\n", ". ", " ", ""]
)
chunks = text_splitter.split_text(continut_articol)Echilibru optim: Previne erorile în care o întrebare se referă la prima jumătate a unei fraze dintr-un chunk și a doua jumătate din chunk-ul următor.
Întrebări & Discuții: Sliding Window Chunking și Suprapunerea Fragmentelor (Chunk Overlap)
Ai o întrebare despre Sliding Window Chunking și Suprapunerea Fragmentelor (Chunk Overlap) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.