Implementarea de evaluatori LLM-as-a-Judge ca metrici DSPy în DSPy & Programare Algoritmică LLM

Pentru evaluarea sarcinilor creative sau a răspunsurilor lungi (ex: rezumate, explicații conceptuale), DSPy permite scrierea de metrici bazate pe un model evaluator (LLM-as-a-Judge). O semnătură separată notează răspunsul pe baza unei grile de evaluare detaliate.

Evaluare Calitativă Automată prin Modele Judecător

Corelează excelent cu judecata umană în scenarii unde potrivirea de șiruri exacte este imposibilă.

import dspy

judge_signature = dspy.Signature("question, context, answer -> score: float, reasoning: str")
judge_model = dspy.Predict(judge_signature)

def llm_judge_metric(example, pred, trace=None) -> float:
    evaluation = judge_model(
        question=example.question,
        context=pred.context,
        answer=pred.answer
    )
    # Returnează un scor normalizat între 0.0 și 1.0
    return min(max(float(evaluation.score) / 10.0, 0.0), 1.0)

Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.