Pentru a valida dacă o variantă cuantizată sau distilată a modelului DeepSeek își păstrează capacitățile dorite, echipele MLOps rulează suite de benchmark-uri academice standardizate:
- MMLU (Massive Multitask Language Understanding): Evaluează cunoștințele enciclopedice și profesionale (DeepSeek-V3 atinge 88.5%).
- MATH & GSM8K: Testează raționamentul matematic de bază și avansat (DeepSeek-R1 atinge 97.3% pe GSM8K).
- HumanEval & SWE-bench: Măsoară abilitățile de programare și rezolvare a problemelor reale din software engineering.
Rularea acestor teste pe propriile date garantează menținerea standardelor înainte de lansarea în producție.
Întrebări & Exemple practice:
Evaluarea Modelelor DeepSeek pe Seturi MMLU, HumanEval și GSM8KAi o întrebare despre Evaluarea Modelelor DeepSeek pe Seturi MMLU, HumanEval și GSM8K sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.