HallucinationMetric calculează procentul de propoziții din răspunsul generat care se contrazic sau nu pot fi confirmate de documentele din context. Pragul (threshold) definește toleranța maximă admisă.
Exemplu de test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import HallucinationMetric
caz_test = LLMTestCase(
input="Ce motor utilizează vLLM pentru memorie?",
actual_output="vLLM folosește PagedAttention inspirat din memoria virtuală a sistemelor de operare.",
context=["PagedAttention alocă memoria KV cache în blocuri non-contigue."]
)
metrica = HallucinationMetric(threshold=0.1)
metrica.measure(caz_test)
print(f"Scor halucinație: {metrica.score} | Trecut: {metrica.is_successful()}")Permite oprirea automată a livrării în producție dacă testul eșuează.
Întrebări & Exemple practice:
Clasa HallucinationMetric în DeepEval: Auditul Factualității în Testele UnitareAi o întrebare despre Clasa HallucinationMetric în DeepEval: Auditul Factualității în Testele Unitare sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.