Metrica Exact Match (EM) și potrivire fuzzy cu normalizare de text în DSPy & Programare Algoritmică LLM

Metrica Exact Match (EM) compară răspunsul produs de model cu răspunsul de referință (ground truth) după aplicarea normalizării standard: trecerea la litere mici, eliminarea semnelor de punctuație și a articolelor gramaticale. Este standardul de aur în benchmark-uri de tip SQuAD sau TriviaQA.

Normalizare Textuală și Potrivire Strictă

Oferă un scor binar (1.0 sau 0.0) indispensabil pentru sarcini factuale cu răspunsuri scurte.

import re, string

def normalize_text(s: str) -> str:
    s = s.lower()
    s = "".join(ch for ch in s if ch not in string.punctuation)
    s = re.sub(r"\b(a|an|the|un|o|unui)\b", " ", s)
    return " ".join(s.split())

def exact_match_metric(example, pred, trace=None) -> bool:
    return normalize_text(example.answer) == normalize_text(pred.answer)

Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.