Ragas: Calculul Metricei Faithfulness și Detectarea Halucinațiilor în LLMOps, Evaluare & Securitate AI

Metrica Faithfulness (Fidelitate) din cadrul framework-ului Ragas evaluează factualitatea răspunsului generat în raport cu contextul recuperat. Procesul de evaluare se desfășoară în doi pași automați:

1. Descompunerea răspunsului generat într-o serie de afirmații atomice (statements).
2. Verificarea fiecărei afirmații dacă poate fi dedusă strict din contextul extras.

Scorul este raportul: Faithfulness = (Afirmații Verificate) / (Total Afirmații).

from datasets import Dataset
from ragas import evaluate
from ragas.metrics import faithfulness

data_samples = {
    "question": ["Când a fost lansat PyTorch?"],
    "contexts": [["PyTorch a fost lansat inițial în septembrie 2016 de laboratorul FAIR al Facebook."]],
    "answer": ["PyTorch a fost lansat în septembrie 2016 de către Meta/Facebook."]
}

dataset = Dataset.from_dict(data_samples)
score = evaluate(dataset, metrics=[faithfulness])
print("Scor Faithfulness:", score["faithfulness"])  # 1.0

Dacă modelul include informații corecte din cunoștințele sale generale, dar care nu existau în contextul furnizat, scorul Faithfulness este penalizat corespunzător.