dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
RAG Toți termenii

Ce este Chunking (Segmentarea Documentelor)?

Arhitectură RAG și Căutare Semantică Nivel: mediu

Etapa fundamentală de tăiere a documentelor lungi în fragmente ideale pentru a păstra sensul fără a polua contextul modelului.

Denumire completă

Chunking – decuparea textelor mari în blocuri de dimensiune optimă (chunk size) cu suprapunere semantică (chunk overlap)

Format / Sintaxă: Chunking – decuparea textelor mari în blocuri de dimensiune optimă (chunk size) cu suprapunere semantică (chunk overlap)

Explicație detaliată

Dacă indexezi o carte de 400 de pagini ca un singur bloc, modelul de embedding își va dilua reprezentarea până la inutilitate. Dacă o decupezi propoziție cu propoziție, fiecare fragment își va pierde contextul global.

Chunking-ul găsește compromisul optim: fragmente de 300-800 de tokeni, cu o suprapunere de 10-20% între ele pentru a nu rupe ideile aflate la frontieră.

Analogie intuitivă

💡 Tăierea unei pizza de familie în felii ideale: dacă lași pizza întreagă, nu încape în gură; dacă o toci mărunt ca pe pesmet, s-a stricat toată textura și savoarea.

Mecanism & Funcționare

  • 1. Segmentare pe caractere sau tokeni (Fixed-size Chunking).
  • 2. Segmentare recursivă (Recursive Character Splitting) pe paragrafe, linii și propoziții.
  • 3. Segmentare semantică (Semantic Chunking) bazată pe salturile de tematică calculate cu embeddings.

Exemple practice și aplicabilitate

  • Un chunk optim de 500 de tokeni cu 50 de tokeni overlap asigură că definiția unei clauze juridice nu este retezată la mijlocul frazei.

Capcane frecvente & bune practici

Calitatea răspunsurilor dintr-un RAG depinde în proporție de peste 60% de calitatea strategiei de chunking, nu de modelul LLM utilizat.

Noțiuni înrudite