TruLens este o librărie specializată în evaluarea automată a sistemelor de regăsire augmentată prin generare (RAG). Conceptul central este RAG Triad, o metodologie care măsoară trei piloni critici:
- Context Relevance: Măsura în care fragmentele extrase sunt utile pentru întrebare.
- Groundedness (Fidelitate): Gradul în care răspunsul se bazează exclusiv pe contextul recuperat, fără halucinații.
- Answer Relevance: Cât de exact și util răspunde modelul la cerința inițială.
from trulens.core import TruSession, Feedback
from trulens.providers.openai import OpenAI
session = TruSession()
provider = OpenAI(model_engine="gpt-4o-mini")
# Definirea funcției de feedback pentru fidelitate (Groundedness)
f_groundedness = (
Feedback(provider.groundedness_measure_with_cot_reasons)
.on_input()
.on_output()
)
print("Funcție de feedback configurată.")Fiecare interacțiune este notată pe o scală de la 0 la 1, însoțită de explicații detaliate generate prin Chain-of-Thought (CoT).
Întrebări & Exemple practice:
TruLens: Evaluare RAG Triad și Funcții de Feedback ProgramaticeAi o întrebare despre TruLens: Evaluare RAG Triad și Funcții de Feedback Programatice sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.