LM Evaluation Harness (EleutherAI) este standardul acceptat unanim în cercetare și industrie pentru evaluarea riguroasă și reproductibilă a modelelor mari de limbaj pe zeci de benchmark-uri academice consacrate:
- MMLU (Massive Multitask Language Understanding): Evaluează cunoștințele din 57 de domenii (medicină, istorie, fizică, drept).
- GSM8K (Grade School Math): Testează abilitățile de rezolvare a problemelor matematice cu raționament multi-pas.
- HellaSwag: Măsoară simțul comun și predicția continuării logice a scenariilor cotidiene.
# Rularea testului MMLU în regim few-shot (5 exemple)
lm_eval --model hf --model_args pretrained=meta-llama/Llama-3.1-8B-Instruct --tasks mmlu --num_fewshot 5 --batch_size auto --output_path ./rezultate_mmlu.jsonRularea acestor teste elimină evaluările subiective și oferă o confirmare matematică clară dacă un proces de fine-tuning a îmbunătățit capacitățile modelului.
Întrebări & Exemple practice:
LM Evaluation Harness: Rularea Standardizată pe MMLU, GSM8K și HellaSwagAi o întrebare despre LM Evaluation Harness: Rularea Standardizată pe MMLU, GSM8K și HellaSwag sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.