Calculul scorului F1 (Precision & Recall) pe răspunsuri tokenizate în DSPy în DSPy & Programare Algoritmică LLM

Scorul F1 evaluează suprapunerea de tokeni între predicție și răspunsul dorit. Este mult mai flexibil decât Exact Match în sarcini unde formularea poate varia ușor, măsurând atât dacă modelul a inclus toți termenii necesari (Recall), cât și dacă a evitat adăugarea de cuvinte străine (Precision).

Evaluare Armonică pe Tokeni (Precision & Recall)

Oferă un scor continuu între 0.0 și 1.0 extrem de util ca funcție de optimizare continuă.

from collections import Counter

def f1_metric(example, pred, trace=None) -> float:
    pred_tokens = pred.answer.lower().split()
    gold_tokens = example.answer.lower().split()
    common = Counter(pred_tokens) & Counter(gold_tokens)
    num_same = sum(common.values())
    if num_same == 0:
        return 0.0
    precision = 1.0 * num_same / len(pred_tokens)
    recall = 1.0 * num_same / len(gold_tokens)
    return (2 * precision * recall) / (precision + recall)

Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.