Metrica faithfulness (fidelitate) măsoară dacă răspunsul generat de un sistem RAG este fundamentat strict pe documentele furnizate în context. Un scor de 1.0 indică absența totală a halucinațiilor.
Exemplu de evaluare
from ragas import evaluate
from ragas.metrics import faithfulness
from datasets import Dataset
date_test = Dataset.from_dict({
"question": ["Când a fost lansat modelul Llama 3?"],
"contexts": [["Meta a lansat oficial familia de modele Llama 3 în aprilie 2024."]],
"answer": ["Modelul Llama 3 a fost prezentat de Meta în aprilie 2024."]
})
rezultat = evaluate(date_test, metrics=[faithfulness])
print(f"Scor fidelitate factuală: {rezultat['faithfulness']:.4f}")Dacă modelul inventează detalii absente din context, scorul scade proporțional.
Întrebări & Exemple practice:
Metrica Faithfulness în Ragas: Măsurarea Absenței Halucinațiilor față de ContextAi o întrebare despre Metrica Faithfulness în Ragas: Măsurarea Absenței Halucinațiilor față de Context sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.