Ce înseamnă Acuratețe
Acuratețea este cea mai simplă măsură a performanței unui model de clasificare: numărul de predicții corecte împărțit la numărul total de predicții. Dacă un model clasifică 100 de e-mailuri și 92 sunt clasificate corect, acuratețea este de 92%.
Este ușor de înțeles și de comunicat, de aceea apare des în prezentări și articole. Are însă o capcană mare: poate arăta excelent la un model care, de fapt, nu face nimic util.
Cum funcționează
Formula: acuratețe = predicții corecte ÷ total predicții. Problema apare când una dintre categorii este foarte rară. Atunci un model care răspunde mereu cu categoria frecventă obține automat un scor mare.
De aceea, la probleme precum detectarea fraudelor, a bolilor rare sau a defectelor de fabricație, se folosesc în plus precizia, recall-ul, scorul F1 și matricea de confuzie, care arată separat ce se întâmplă cu fiecare categorie.
Pe înțelesul tuturor
Un meteorolog dintr-un oraș în care plouă 10 zile pe an poate anunța „nu plouă” în fiecare zi și va avea dreptate în 97% din zile. Are acuratețe mare, dar nu te ajută deloc să știi când să iei umbrela.
Exemplu
O bancă are 1.000 de tranzacții, dintre care 10 sunt fraude. Un model care spune „nu e fraudă” pentru absolut toate are acuratețe de 990 ÷ 1.000 = 99%, dar nu prinde nicio fraudă. Un alt model, cu acuratețe de 97%, care prinde 8 din cele 10 fraude, este mult mai util, deși are un scor de acuratețe mai mic.
De reținut
- Acuratețea = răspunsuri corecte ÷ total răspunsuri.
- Este înșelătoare când o categorie este mult mai rară decât celelalte.
- Verifică întotdeauna și precizia, recall-ul sau matricea de confuzie.
Nu confunda
- Acuratețe vs. precizie: în limbajul obișnuit sunt aproape sinonime, dar în machine learning precizia înseamnă altceva: din câte ori modelul a spus „da”, de câte ori a avut dreptate.
Termeni înrudiți
- Precizie și recall: Două măsuri complementare: precizia arată cât de des are dreptate modelul când spune „da”, recall-ul câte cazuri reale reușește să prindă.
- Scor F1: Un singur număr care combină precizia și recall-ul, mare doar când ambele sunt bune.
- Matrice de confuzie: Tabel care arată, pentru fiecare categorie reală, cum a fost clasificată de model, ca să vezi exact unde greșește.
- Clasificare: Sarcina de machine learning în care modelul pune fiecare exemplu într-o categorie dintr-o listă fixă, de exemplu „spam” sau „nu e spam”.
- Benchmark (test de performanță AI): Un set standard de întrebări sau sarcini pe care sunt testate modelele AI, ca să poată fi comparate între ele.