Context Precision și Context Recall în Evaluarea Componentei de Regăsire în LLMOps, Evaluare & Securitate AI

Pentru a depana un sistem RAG, este vital să știm dacă eroarea a apărut în faza de căutare (retrieval) sau în faza de sinteză a LLM-ului. Ragas oferă două metrici dedicate componentei de căutare:

• Context Recall: Verifică dacă toate informațiile necesare pentru răspunsul corect (ground truth) au fost recuperate din baza de date.
• Context Precision: Măsoară dacă fragmentele relevante au fost clasificate pe primele poziții în lista rezultatelor returnate (relevanța ordonării).

from ragas import evaluate
from ragas.metrics import context_precision, context_recall

rezultate_eval = evaluate(
    dataset,
    metrics=[context_precision, context_recall]
)
print("Precision:", rezultate_eval["context_precision"])
print("Recall:   ", rezultate_eval["context_recall"])

Un Context Precision scăzut indică necesitatea introducerii unui strat de re-ranking (Cross-Encoder), în timp ce un Context Recall slab impune îmbunătățirea strategiei de chunking sau utilizarea căutării hibride.