Atenuarea Bias-urilor în Modelele LLM-as-a-Judge în LLMOps, Evaluare & Securitate AI

Utilizarea unui model lingvistic mare (ex: GPT-4o) ca judecător automat pentru evaluarea răspunsurilor altor modele introduce o serie de distorsiuni cognitive sistematice (biases):

• Position Bias: Tendința modelului judecător de a favoriza primul răspuns prezentat în prompt (Răspunsul A).
• Verbosity Bias: Preferința nejustificată pentru răspunsuri lungi și detaliate, chiar dacă sunt prolixe sau conțin repetiții inutile.
• Self-Enhancement Bias: Tendința modelelor produse de o anumită companie de a acorda note mai mari propriilor răspunsuri.

# Strategia Swap Position pentru eliminarea Position Bias
def evaluare_echitabila(judge, prompt, raspuns_1, raspuns_2):
    # Runda 1: 1 este A, 2 este B
    scor_1a = judge.compare(prompt, a=raspuns_1, b=raspuns_2)
    
    # Runda 2: se inversează ordinea (2 devine A, 1 devine B)
    scor_1b = judge.compare(prompt, a=raspuns_2, b=raspuns_1)
    
    # Doar dacă modelul alege consecvent același răspuns se declară un câștigător clar
    return media_evaluarii(scor_1a, scor_1b)

De asemenea, instruirea judecătorului să furnizeze mai întâi argumente pas-cu-pas (Chain-of-Thought) înainte de a emite nota numerică crește considerabil acuratețea evaluării.