AlpacaEval și MT-Bench sunt principalele benchmark-uri automatizate utilizate de comunitatea open-source pentru a stabili performanța relativă a modelelor ajustate prin instrucțiuni (Instruction-Tuned Models).
- AlpacaEval: Evaluează capacitatea modelului de a urma instrucțiuni complexe pe un set divers de 805 cerințe, măsurând rata de victorie (Win Rate) în raport cu un model de referință (GPT-4) utilizând corecții pentru lungimea răspunsurilor.
- MT-Bench: Testează conversații în doi pași (multi-turn dialogue) în 8 categorii (scriere, joc de rol, raționament, matematică, codare, extragere, STEM și umanioare).
# Rularea suitei AlpacaEval pe ieșirile generate de un model propriu
alpaca_eval --model_outputs date/iesiri_model_fintuned.json --annotators_config alpaca_eval_gpt4 --name model_romanesc_v1Rularea acestor teste oferă un scor de clasament direct comparabil cu marile modele internaționale din leaderboard-urile LMSYS Chatbot Arena.
Întrebări & Exemple practice:
AlpacaEval și MT-Bench: Evaluarea Abilităților de Conversație la ScarăAi o întrebare despre AlpacaEval și MT-Bench: Evaluarea Abilităților de Conversație la Scară sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.