Metrici Clasice de NLP vs Semantice: BLEU, ROUGE și BERTScore în LLMOps, Evaluare & Securitate AI

Metricile tradiționale din NLP (pre-LLM) măsoară gradul de suprapunere lexicală exactă între textul generat și textul de referință:

• BLEU (Bilingual Evaluation Understudy): Măsoară precizia n-gramelor; standard în traducerea automată.
• ROUGE (Recall-Oriented Understudy for Gesting): Măsoară recall-ul n-gramelor (ROUGE-1, ROUGE-2) și a celei mai lungi subsecvențe comune (ROUGE-L); standard în rezumarea de text.
• BERTScore: Calculează similitudinea cosinus între vectorii contextuali BERT ai fiecărui token, permițând identificarea sinonimelor și a parafrazărilor fără potrivire literală.

from evaluate import load

bertscore = load("bertscore")
rouge = load("rouge")

predictie = ["Lansarea aplicației a avut succes."]
referinta = ["Desfășurarea noului software s-a finalizat cu brio."]

# ROUGE va da scor mic din cauza cuvintelor diferite
print("ROUGE-L:", rouge.compute(predictions=predictie, references=referinta)["rougeL"])

# BERTScore va recunoaște sinonimia semantică
res = bertscore.compute(predictions=predictie, references=referinta, lang="ro")
print("BERTScore F1:", res["f1"][0])  # Scor foarte ridicat (~0.92)

În dezvoltarea modernă, BERTScore este preferat pentru rezumate generative unde vocabularul este flexibil.