dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
N8N Toate nodurile n8n AI

Default Data Loader & Recursive Character Text Splitter în n8n & Automatizări AI

RAG Vizual & Baze Vectoriale în n8n Nivel: intermediar

Sub-nodurile care extrag textul din fișiere binare (PDF, DOCX, CSV, JSON), atașează metadate și împart conținutul în fragmente (chunks) cu suprapunere optimă pentru indexarea RAG.

Configurare nod & expresie 
Vector Store (Insert Documents)
  └── Document: Default Data Loader (Type: Binary / JSON, Metadata: { file_id })
        └── Text Splitter: Recursive Character Text Splitter (Chunk Size: 1000, Overlap: 200)

Descriere & Utilizare

Când inserezi documente într-un Vector Store din n8n, nu poți trimite un PDF întreg de 100 de pagini ca un singur vector: căutarea ar deveni imprecisă, iar fragmentul returnat ar depăși fereastra de context. De aceea, portul Document al nodului Vector Store necesită un Data Loader și un Text Splitter.

Default Data Loader preia fie fișiere binare descărcate din nodurile anterioare (PDF, CSV, EPUB, DOCX din Google Drive / OneDrive / Email), fie câmpuri JSON/text și îți permite să atașezi Metadata (precum numele fișierului, URL-ul sursă sau data).

Sub el se conectează Recursive Character Text Splitter, care împarte inteligent textul încercând să păstreze paragrafele și propozițiile întregi (separând pe nn, apoi n, apoi spațiu) în bucăți de Chunk Size caractere cu o suprapunere de Chunk Overlap.

Cum să o reții ușor

💡 Data Loader-ul scoate textul din plic și lipește o etichetă cu expeditorul (Metadata), iar Text Splitter-ul îl împarte în fișe de lectură numerotate, lăsând câte două rânduri comune între fișe ca să nu se piardă ideea de la capătul paginii.

Opțiuni și parametri tehnici

  • Type of Data (JSON / Binary): alege Binary când procesezi fișiere PDF/DOCX descărcate sau JSON când textul a fost deja extras într-un câmp.
  • Chunk Size: lungimea în caractere a fiecărui fragment (valoare optimă pentru RAG general: 800 – 1200 caractere).
  • Chunk Overlap: numărul de caractere care se repetă între două fragmente consecutive (uzual 15-20% din Chunk Size, ex: 150 – 200).
  • Metadata: perechi cheie-valoare salvate alături de fiecare fragment (esențiale pentru citarea sursei și ștergerea ulterioară).

Exemple practice și cazuri de utilizare

  • Pipeline Google Drive -> RAG: Google Drive Trigger -> Google Drive (Download File) -> Vector Store (Insert) + Default Data Loader (Binary) + Recursive Splitter.
  • Adăugarea sursei în Metadata: setează în Data Loader cheia source_file = {{ $("Google Drive").item.json.name }} pentru ca agentul să poată spune din ce PDF a extras răspunsul.
  • Splitare cod sau documentație tehnică: folosește Markdown Text Splitter sau Code Text Splitter când indexezi fișiere .md din GitHub.

Sfaturi de configurare & capcane

Salvează întotdeauna file_id-ul documentului în Metadata: astfel, când un document este modificat în Google Drive, poți șterge mai întâi vectorii vechi cu acel file_id înainte de a reindexa versiunea nouă.

Comenzi și ghiduri înrudite