Evaluarea obiectivă a capacităților cognitive ale modelelor se realizează prin suite de teste academice standardizate și platforme de comparare oarbă (blind evaluation) între oameni.
Suite majore de evaluare:
- MMLU (Massive Multitask Language Understanding): 57 de materii (drept, medicină, fizică, filosofie).
- GSM8K (Grade School Math): Probleme de matematică multi-pas pentru testarea raționamentului.
- HumanEval & SWE-bench: Generarea de cod Python funcțional și rezolvarea de tichete GitHub reale.
- LMSYS Chatbot Arena: Clasament bazat pe scor Elo calculat din sute de mii de voturi oarbe
acordate de utilizatori reali care compară răspunsurile generate side-by-side.Contaminarea datelor: Riscul major actual este „scurgerea” întrebărilor din teste în seturile masive de pre-antrenare (Data Contamination).
Întrebări & Discuții: Benchmark-uri Standard în LLM: MMLU, GSM8K, HumanEval și LMSYS Arena
Ai o întrebare despre Benchmark-uri Standard în LLM: MMLU, GSM8K, HumanEval și LMSYS Arena sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.