Succesul oricărui asistent AI corporativ depinde de calitatea bazei de cunoștințe. Modulul Knowledge din Dify automatizează toți pașii complecși de inginerie RAG într-un flux intuitiv cu previzualizare în timp real.
Dify suportă încărcarea fișierelor PDF, DOCX, CSV, pagini Notion sau sincronizarea continuă cu depozite GitHub și site-uri web prin crawling automat. Textul este segmentat automat prin reguli inteligente (sau mod personalizat), păstrând structura logică a capitolelor.
Punctul forte al platformei este motorul de Căutare Hibridă cu Re-ranking: interogarea caută simultan semantic (prin vectori denși) și lexical (prin cuvinte cheie BM25). Rezultatele combinate sunt trecute printr-un model de Re-ranking (cum ar fi Cohere Rerank sau BGE-Reranker-Large), care re-ordonează fragmentele după relevanța factuală directă, eliminând aproape complet halucinațiile.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
Automatic vs Custom Chunking |
Alegerea mărimii fragmentului (uzual 500-1000 caractere) și a delimitatorilor de tăiere. |
Hybrid Search (Vector + Full-Text) |
Combinarea similitudinii cosinus cu indexul de text inversat pentru potrivire exactă pe coduri/nume. |
Reranking Model Integration |
Punctarea calitativă a top-20 fragmente regăsite pentru a trimite la LLM doar cele mai bune 3-4 fragmente. |
Q&A Segment Generation |
Opțiunea avansată prin care un LLM transformă fiecare fragment într-un set de întrebări și răspunsuri înainte de indexare. |
Exemple practice și cod
Exemplul 1: Configurarea căutării hibride cu BGE Reranker în Dify
Pașii de optimizare pe o bază de documentație tehnică.
1. Navigare: Dify -> Knowledge -> Creare Colecție nouă 'Manuale Tehnice'
2. Încărcare: manual_utilizare_erp.pdf (120 pagini)
3. Setări Segmentare:
• Mod: Personalizat (Custom)
• Dimensiune fragment: 800 tokeni | Suprapunere (Overlap): 100 tokeni
4. Setări Indexare:
• Mod Căutare: Căutare Hibridă (Hybrid Search)
• Model Embeddings: BAAI/bge-large-en-v1.5
• Model Reranking: BAAI/bge-reranker-large
• Top-K finale trimise către LLM: 4 fragmente (cu scor minim 0.70)
5. Rezultat: La întrebarea despre un cod de eroare obscur, sistemul găsește paragraful exact chiar dacă formularea întrebării a fost diferită.Rezultat & Impact
Precizie de regăsire factuală de peste 95% pe documente tehnice dense.Greșeli frecvente și bune practici
- Indexarea unor documente scanate de slabă calitate fără OCR prealabil, ceea ce introduce fragmente pline de caractere neinteligibile în baza de cunoștințe.
- Dezactivarea etapei de Re-ranking pe colecții mari de peste 10.000 de pagini, permițând fragmentelor parțial similare să dilueze contextul util.