Sistemele RAG tradiționale sunt rigide: caută întotdeauna documente externe pentru fiecare întrebare, chiar și atunci când este vorba despre un salut banal (‘Bună ziua’) sau o problemă pe care modelul o știe deja la perfecție. În plus, nu au capacitatea nativă de a-și pune la îndoială propriile afirmații.
Self-RAG (Self-Reflective Retrieval-Augmented Generation) este un cadru revoluționar în care un singur model lingvistic este antrenat să emită patru tipuri speciale de tokeni de reflecție în timpul generării:
• Retrieve: Modelul decide dinamic: ‘Am nevoie de informații externe pentru a continua această propoziție? [Da / Nu]’
• IsRel: ‘Este fragmentul extras relevant pentru ceea ce încerc să spun?’
• IsSup: ‘Este fraza pe care tocmai am generat-o susținută 100% de document (factuală) sau am inventat-o?’
• IsUse: ‘Este răspunsul final util și coerent pentru utilizator?’
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
Tokenul [Retrieve] |
Declanșează interogarea bazei de date doar atunci când cunoștințele parametrice ale modelului sunt insuficiente. |
Tokenul [IsRel] |
Filtrează pasaje irelevante chiar în timpul generării. |
Tokenul [IsSup] (Support) |
Verificare anti-halucinație la nivel de propoziție; previne generarea de afirmații nesusținute. |
Beam Search cu Scădere de Penalizare |
Algoritmul de decodare care alege calea de generare cu cele mai mari scoruri de reflecție pozitivă. |
Exemple practice și scenarii reale
Exemplul 1: Cum arată procesul de reflecție internă pe o propoziție în Self-RAG
Modelul intercalează tokenii speciali pentru a se autoverifica pas cu pas.
Întrebare: Unde s-a născut fizicianul Horia Hulubei?
Generare model:
[Retrieve=Yes] -> Căutare 'Horia Hulubei loc nastere' -> [IsRel=Relevant]
Text extras: 'Horia Hulubei s-a născut la Iași pe 15 noiembrie 1896.'
Continuare generare: Horia Hulubei s-a născut în orașul Iași [IsSup=Fully_Supported] [IsUse=5].Rezultat & Impact
Garanție matematică a factualității răspunsului fără evaluatori externi lenți.Greșeli frecvente și capcane
- Confundarea Self-RAG cu un script clasic Python de verificare; Self-RAG este o proprietate a modelului antrenat specific cu tokeni de reflecție.
- Dezactivarea evaluării [IsSup] din motive de viteză, permițând modelului să alunece în halucinații nesancționate.