După regăsire, fragmentele trebuie puse în prompt, iar felul în care o faci contează. Anthropic recomandă ca documentele lungi să stea la începutul promptului, deasupra întrebării, instrucțiunilor și exemplelor, și raportează că întrebarea pusă la final poate îmbunătăți calitatea răspunsului cu până la 30% în testele lor, mai ales cu mai multe documente.
Fiecare document se delimitează clar. Anthropic recomandă tag-uri XML: <document>, cu subtag-urile <document_content> și <source>. Pentru documente lungi, poți cere modelului să citeze întâi pasajele relevante și abia apoi să răspundă. Tot Anthropic recomandă să-i permiți explicit modelului să spună că nu știe.
Poziția contează și din alt motiv. Lucrarea „Lost in the Middle” (Liu et al., TACL 2023) a arătat că performanța este adesea mai mare când informația relevantă se află la începutul sau la sfârșitul contextului și scade când se află la mijloc. Vezi și Lost in the Middle.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
Delimitatori |
Tag-uri XML sau alte marcaje care separă documentele de instrucțiuni. |
Metadate |
Sursa, titlul, pagina sau data fiecărui fragment, ca modelul să le poată cita. |
Ordinea |
Documentele sus, întrebarea la final; fragmentele importante nu se ascund la mijloc. |
Instrucțiunea de fidelitate |
Răspuns doar din documente, cu permisiunea explicită de a spune că informația lipsește. |
Citare |
Modelul indică sau citează pasajele folosite, ca răspunsul să poată fi verificat. |
Exemple practice și scenarii reale
Exemplul 1: Prompt RAG cu documente delimitate XML
Structura recomandată de Anthropic: documentele sus, instrucțiunile și întrebarea jos.
<documents>
<document index="1">
<source>garantie.pdf, pagina 12</source>
<document_content>Garanția standard este de 24 de luni...</document_content>
</document>
<document index="2">
<source>faq.html</source>
<document_content>...</document_content>
</document>
</documents>
Răspunde doar pe baza documentelor de mai sus și indică sursa.
Dacă informația nu apare în documente, spune asta.
Întrebare: Cât durează garanția?Greșeli frecvente și capcane
- Să pui întrebarea înaintea documentelor lungi. Anthropic recomandă documentele sus și întrebarea la final.
- Să lipești fragmentele fără sursă. Fără metadate modelul nu poate cita, iar tu nu poți verifica răspunsul.
- Să umpli contextul cu cât mai multe fragmente. Ghidul OpenAI despre acuratețe observă că prea mult context irelevant îneacă informația utilă și poate produce halucinații; păstrează doar fragmentele relevante (vezi re-ranking).