Ce înseamnă Precizie și recall
Precizia răspunde la întrebarea: „Din toate cazurile pe care modelul le-a marcat ca pozitive, câte chiar erau?” Recall-ul (numit și sensibilitate sau rată de detecție) răspunde la: „Din toate cazurile pozitive reale, câte a găsit modelul?”
Cele două se trag de obicei în direcții opuse. Un model foarte prudent, care marchează doar cazurile sigure, are precizie mare, dar ratează multe. Unul care marchează tot ce pare suspect prinde aproape tot (recall mare), dar dă multe alarme false.
Cum funcționează
Folosind termenii din matricea de confuzie: precizie = adevărat pozitive ÷ (adevărat pozitive + fals pozitive) și recall = adevărat pozitive ÷ (adevărat pozitive + fals negative).
Echilibrul se reglează prin pragul de decizie: dacă modelul marchează un e-mail ca spam de la 50% probabilitate, sau doar de la 90%. Alegerea depinde de ce greșeală costă mai mult: la un test medical de screening contează recall-ul (nu vrei să ratezi bolnavi), la un filtru de spam contează precizia (nu vrei să pierzi e-mailuri importante).
Pe înțelesul tuturor
Un pescar cu o plasă mică și deasă prinde doar pește bun, dar puțin (precizie mare, recall mic). Unul cu o plasă uriașă prinde aproape tot peștele din lac, dar și bocanci vechi și alge (recall mare, precizie mică).
Exemplu
Din 100 de e-mailuri, 20 sunt spam. Filtrul marchează 18 ca spam: 15 chiar sunt spam, iar 3 sunt e-mailuri legitime. Precizia este 15 ÷ 18 ≈ 83%: când filtrul spune „spam”, are dreptate în 83% din cazuri. Recall-ul este 15 ÷ 20 = 75%: a prins trei sferturi din spam, iar 5 mesaje spam au ajuns totuși în Inbox.
De reținut
- Precizia: cât de des are dreptate modelul când spune „da”.
- Recall: ce proporție din cazurile reale a găsit modelul.
- Se reglează una în detrimentul celeilalte, prin pragul de decizie.
Nu confunda
- Precizie (ML) vs. precizie (limbaj obișnuit): în viața de zi cu zi „precis” înseamnă „exact”; în ML, precizia este strict proporția de „da”-uri corecte.
Termeni înrudiți
- Scor F1: Un singur număr care combină precizia și recall-ul, mare doar când ambele sunt bune.
- Matrice de confuzie: Tabel care arată, pentru fiecare categorie reală, cum a fost clasificată de model, ca să vezi exact unde greșește.
- Acuratețe: Procentul de răspunsuri corecte ale unui model din totalul răspunsurilor; simplu de înțeles, dar înșelător când clasele sunt dezechilibrate.
- Clasificare: Sarcina de machine learning în care modelul pune fiecare exemplu într-o categorie dintr-o listă fixă, de exemplu „spam” sau „nu e spam”.
- Detectarea fraudelor cu AI: Sisteme AI care analizează tranzacții și comportamente în timp real pentru a observa plăți, conturi sau cereri suspecte.