Metrici compozite multi-criteriu: precizie, concizie, format și ton în DSPy & Programare Algoritmică LLM

În aplicații enterprise reale, succesul depinde de factori multipli: acuratețea informației, concizia (pentru a evita costurile mari), tonul politicos și formatul JSON corect. DSPy permite definirea de metrici ponderate ce agregă toate aceste obiective într-un singur scalar de fitness.

Agregare Ponderată a Obiectivelor Multiple

Ghidează compilatorul DSPy să găsească compromisul perfect între lungime, corectitudine și stil.

def multi_objective_metric(example, pred, trace=None) -> float:
    # Criteriul 1: Acuratețe factuală (50%)
    accuracy = 1.0 if example.answer in pred.answer else 0.0
    # Criteriul 2: Concizie - penalizare dacă depășește 50 de cuvinte (25%)
    conciseness = 1.0 if len(pred.answer.split()) <= 50 else 0.5
    # Criteriul 3: Absența halucinațiilor verificate în context (25%)
    groundedness = 1.0 if all(fact in pred.context for fact in pred.facts) else 0.0

    return (0.5 * accuracy) + (0.25 * conciseness) + (0.25 * groundedness)

Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.