Răspunsurile deschise ale unui chatbot sunt greu de evaluat automat. Evaluatorii umani sunt scumpi și lenți, iar metricile clasice din NLP, precum BLEU sau ROUGE, compară cuvintele cu un text de referință și pot depuncta un răspuns corect formulat altfel.
LLM-as-a-judge înseamnă că un model puternic primește criteriile de evaluare și notează răspunsurile. Metoda a fost analizată sistematic în 2023 de Zheng și colegii săi, în lucrarea care a introdus MT-Bench și Chatbot Arena: judecători puternici precum GPT-4 au avut peste 80% acord cu preferințele umane, cam cât au oamenii între ei. Aceeași lucrare a descris și limitele metodei: biasul de poziție, biasul de lungime, preferința pentru propriile răspunsuri și capacitatea limitată de a nota probleme de matematică și raționament.
Lucrarea descrie trei moduri de folosire: comparația în perechi (care dintre două răspunsuri e mai bun), notarea unui singur răspuns (de exemplu de la 1 la 10) și notarea cu răspuns de referință. Metoda se folosește în evaluarea sistemelor RAG și în procesele de testare din LLMOps.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
Rubrica de evaluare |
Criteriile și scara de notare, scrise explicit (de exemplu 1 = afirmații fără suport în context, 5 = tot răspunsul este susținut de context). |
Bias de poziție |
Judecătorul favorizează un răspuns după locul în care apare. Soluția din lucrare: evaluarea se rulează de două ori, cu ordinea inversată, și se acceptă doar un verdict consecvent. |
Bias de lungime (verbosity) |
Judecătorul tinde să prefere răspunsurile mai lungi, chiar dacă nu sunt mai bune. |
Preferința pentru sine (self-enhancement) |
Unii judecători favorizează răspunsurile generate de ei înșiși; lucrarea a observat efectul la unele modele, nu la toate. |
Notare cu referință |
Pentru matematică și raționament, judecătorul primește un răspuns de referință corect sau rezolvă întâi singur problema, apoi notează. |
Exemple practice și scenarii reale
Exemplul 1: Prompt de judecător pentru fidelitatea unui sistem RAG
Judecătorul primește contextul, întrebarea și răspunsul și scrie întâi motivarea, apoi nota, într-un format ușor de prelucrat automat.
System: Ești un evaluator imparțial al sistemelor RAG.
Context extras: [fragmentele găsite în baza de documente]
Întrebarea utilizatorului: [întrebarea]
Răspunsul evaluat: [răspunsul]
Criteriu: conține răspunsul afirmații care NU sunt susținute de context?
Scrie întâi motivarea, apoi nota.
Format JSON:
{
"motivare": "...",
"nota_fidelitate": 1-5,
"afirmatii_fara_suport": true/false
}Greșeli frecvente și capcane
- Un judecător folosit la sarcini pe care nu le poate rezolva el însuși: la matematică și raționament, dă-i un răspuns de referință sau cere-i să rezolve întâi problema.
- O singură rulare a comparației în perechi: inversează ordinea răspunsurilor, ca să elimini biasul de poziție.
- Lipsa calibrării cu oameni: compară notele judecătorului cu notele umane pe un eșantion, înainte să te bazezi pe el.
- Același model ca judecător și ca participant: poate favoriza propriile răspunsuri.