RAGAS (Retrieval Augmented Generation Assessment) este cadrul standard open-source pentru evaluarea obiectivă a sistemelor RAG fără a necesita mii de etichete umane de adnotare. Măsoară independent componenta de căutare (retrieval) și componenta de generare.
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
from datasets import Dataset
dataset = Dataset.from_dict({
"question": ["Când a fost fondată compania?"],
"contexts": [["Compania a fost fondată în anul 2012 de către doi ingineri."]],
"answer": ["Compania a fost fondată în anul 2012."],
"ground_truth": ["2012"]
})
rezultate = evaluate(dataset, metrics=[faithfulness, answer_relevancy, context_precision])
print(rezultate)Metrice esențiale: Faithfulness măsoară dacă răspunsul este ancorat exclusiv în context, prevenind halucinațiile.
Întrebări & Discuții: Cadrul RAGAS: Evaluarea Fidelității, Relevanței și Preciziei Contextului
Ai o întrebare despre Cadrul RAGAS: Evaluarea Fidelității, Relevanței și Preciziei Contextului sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.