Faithfulness măsoară dacă răspunsul este ancorat strict în documentele recuperate sau dacă modelul a inventat detalii din cunoștințele sale generale (sau a halucinat).
Etape de calcul ale metricii
1. Descompune răspunsul în propoziții atomice factuale: S1, S2, S3.
2. Pentru fiecare propoziție, verifică dacă este deductibilă logic din context:
- S1 (Susținut) -> 1
- S2 (Susținut) -> 1
- S3 (Neverificat în context) -> 0
3. Scor = 2 / 3 = 0.66 (Necesită ajustare)
Metrica primordială pentru certificarea asistenților RAG în domenii medicale și juridice.
Întrebări & Discuții: Metrica Faithfulness în Evaluarea RAG: Măsurarea Matematică a Factualității
Ai o întrebare despre Metrica Faithfulness în Evaluarea RAG: Măsurarea Matematică a Factualității sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.