LLM-as-a-Judge folosește un model mare de frontieră (precum GPT-4o sau Claude 3.5 Sonnet) pentru a evalua automat calitatea, acuratețea, relevanța și tonul răspunsurilor generate de modele mai mici sau de prompturi experimentale, conform unei rubrici stricte.
Prompt pentru LLM-as-a-Judge:
"Ești un evaluator neutru. Analizează răspunsul candidat pe baza următoarelor criterii:
1. Relevanță: Răspunde direct la întrebare? (Scor 1-5)
2. Factualitate: Conține erori sau halucinații? (Scor 1-5)
3. Concizie: Evită redundanțele inutile? (Scor 1-5)
Furnizează mai întâi o justificare detaliată a evaluării tale, apoi afișează scorul final în format JSON:
{ \"justificare\": \"...\", \"scor_total\": 14, \"admis\": true }"Scalabilitate enormă: Permite evaluarea a zeci de mii de răspunsuri zilnic fără efort uman manual.
Întrebări & Discuții: LLM-as-a-Judge: Notarea Automată a Răspunsurilor prin Modele de Frontieră
Ai o întrebare despre LLM-as-a-Judge: Notarea Automată a Răspunsurilor prin Modele de Frontieră sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.