Segmentare Avansată (Custom Chunking) și RegEx Delimiters în Dify în Dify: fluxuri agentice, Knowledge și self-hosting

Segmentarea documentelor (Chunking) determină în mod critic calitatea sistemelor RAG. În Dify, modul Custom Chunking permite definirea lungimii maxime a fragmentelor (chunk size), a suprapunerii (overlap) și a delimitatorilor personalizați prin expresii regulate (RegEx) pentru a păstra integritatea paragrafelor și tabelelor.

Segmentare Documente cu RegEx

Reglarea optimă a delimitatorilor previne fragmentarea propozițiilor sau tăierea blocurilor de cod în bucăți lipsite de sens contextual.

# Reguli de segmentare personalizată în Dify Knowledge:
chunking_strategy: custom
max_tokens: 600
chunk_overlap: 100
custom_delimiters:
  - "\n\n### "     # Tăiere la subtitluri de nivel 3
  - "\n\n"         # Tăiere la nivel de paragraf
  - "\n(?=[0-9]+\.)" # Tăiere înainte de liste numerotate
clean_spaces: true
remove_urls_and_emails: false

Implementarea corectă a acestei funcționalități în arhitectura Dify asigură o integrare fluidă între fluxurile de lucru automate, modelele de limbaj și bazele de cunoștințe enterprise.