CodeSplitter: Fragmentarea Codului Sursă pe Bază Sintactică în LlamaIndex & Data RAG

Clasa CodeSplitter folosește biblioteca Tree-Sitter pentru a parsa arborele de sintaxă abstractă (AST) al limbajelor de programare (Python, JavaScript, Go, Rust, C++), asigurându-se că tăierile nu sparg funcții sau bucle la jumătate.

Exemplu de divizare cod Python

from llama_index.core.node_parser import CodeSplitter

splitter = CodeSplitter(
    language="python",
    chunk_lines=50,
    chunk_lines_overlap=10,
    max_chars=1500
)
noduri = splitter.get_nodes_from_documents(documente_cod)
print("Primul nod:", noduri[0].text)

Esențial pentru construirea asistenților RAG de asistență pe depozite întregi de cod (Codebase Q&A).