Format / Sintaxă: Safety Benchmarks – suite de teste cantitative standardizate (TruthfulQA, ToxiGen, CyberSecEval) pentru măsurarea riscurilor
Explicație detaliată
Așa cum mașinile au teste de frânare și emisiuni, modelele AI sunt evaluate pe baterii standardizate de zeci de mii de întrebări capcană.
Benchmark-uri celebre precum TruthfulQA (măsoară halucinațiile și credințele false), RealToxicityPrompts (măsoară limbajul dăunător) și CyberSecEval (măsoară asistența la atacuri hacker) permit compararea obiectivă a siguranței între GPT, Claude, Llama și Gemini.
Analogie intuitivă
💡 Inspecția Tehnică Periodică (ITP) la automobile: se măsoară emisiile la țeava de eșapament, eficiența frânelor și jocul direcției pe aparate calibrate înainte de a primi dreptul de circulație.
Mecanism & Funcționare
- Rularea automată a mii de scenarii de atac și măsurarea ratei de refuz corect (Refusal Rate).
- Utilizarea metodei ‘LLM-as-a-Judge’ pentru a evalua automat calitatea și siguranța răspunsurilor.
Exemple practice și aplicabilitate
- HELM (Holistic Evaluation of Language Models) de la Universitatea Stanford.
- OpenAI Evals și Anthropic Model Cards.
Capcane frecvente & bune practici
Un scor bun la benchmark nu garantează 100% că modelul nu poate fi deturnat în producție prin tehnici inedite de atac.
Noțiuni înrudite
red-teaming-ai: Noțiune asociată din acest modul.ai-alignment: Noțiune asociată din acest modul.eu-ai-act: Noțiune asociată din acest modul.