Ce înseamnă Scor F1
Scorul F1 combină precizia și recall-ul într-o singură valoare între 0 și 1 (sau 0% și 100%). Este util când vrei să compari rapid modele și nu vrei să privilegiezi doar una dintre cele două măsuri.
Se folosește mult la probleme cu categorii dezechilibrate, unde acuratețea este înșelătoare: detectarea fraudelor, a spamului, a bolilor rare sau a defectelor.
Cum funcționează
Formula este F1 = 2 × precizie × recall ÷ (precizie + recall), adică media armonică a celor două. Spre deosebire de media obișnuită, media armonică este trasă puternic în jos de valoarea mai mică. Un model nu poate obține un F1 mare dacă una dintre măsuri este proastă.
Există și variante: F2 pune mai mult accent pe recall, F0,5 pe precizie. La probleme cu mai multe categorii, se calculează F1 pentru fiecare categorie și apoi o medie.
Pe înțelesul tuturor
Este ca nota la un examen cu două probe eliminatorii: dacă ai 10 la una și 2 la cealaltă, nu treci „cu media 6”. Scorul F1 se comportă asemănător și te ține aproape de proba la care ai rezultatul mai slab.
Exemplu
Filtrul de spam din exemplul cu 100 de e-mailuri are precizia 83% și recall-ul 75%. F1 = 2 × 0,833 × 0,75 ÷ (0,833 + 0,75) ≈ 0,79, adică 79%. Un alt filtru, care marchează un singur e-mail, corect, are precizie 100% și recall 5% (1 din 20). Media obișnuită ar da 52,5%, dar F1 dă doar aproximativ 9,5%, ceea ce reflectă mult mai bine cât de inutil este.
De reținut
- F1 este media armonică a preciziei și a recall-ului.
- Este mare doar când ambele măsuri sunt bune.
- Este mai potrivit decât acuratețea când o categorie este rară.
Nu confunda
- Scor F1 vs. Formula 1: „F” vine de la F-measure (măsura F) din evaluarea sistemelor de regăsire a informației; nu are legătură cu cursele auto.
Termeni înrudiți
- Precizie și recall: Două măsuri complementare: precizia arată cât de des are dreptate modelul când spune „da”, recall-ul câte cazuri reale reușește să prindă.
- Acuratețe: Procentul de răspunsuri corecte ale unui model din totalul răspunsurilor; simplu de înțeles, dar înșelător când clasele sunt dezechilibrate.
- Matrice de confuzie: Tabel care arată, pentru fiecare categorie reală, cum a fost clasificată de model, ca să vezi exact unde greșește.
- Clasificare: Sarcina de machine learning în care modelul pune fiecare exemplu într-o categorie dintr-o listă fixă, de exemplu „spam” sau „nu e spam”.
- Benchmark (test de performanță AI): Un set standard de întrebări sau sarcini pe care sunt testate modelele AI, ca să poată fi comparate între ele.