Ce este Bias algoritmic și discriminare?

Ce înseamnă Bias algoritmic și discriminare

Un model învață tiparele din datele de antrenare. Dacă datele reflectă inegalități istorice sau unele grupuri apar prea rar, modelul le poate reproduce. Bias-ul poate apărea și din alegerea variabilelor, a metricii optimizate sau din felul în care oamenii folosesc rezultatele.

Ghidul NIST SP 1270 (martie 2022) împarte bias-ul din AI în trei categorii: sistemic (practicile instituțiilor și ale societății), statistic și computațional (de exemplu un eșantion care nu reprezintă populația) și uman (de exemplu încrederea excesivă în rezultatul automat).

Cum funcționează

Bias de eșantionare: unele grupuri sunt subreprezentate în date, iar modelul greșește mai des pentru ele.

Bias de etichetare: etichetele provin din decizii umane anterioare, care pot fi ele însele discriminatorii.

Variabile proxy: chiar fără un atribut protejat în date, modelul îl poate deduce din alte variabile corelate cu el, de exemplu adresa.

AI Act cere, pentru sistemele cu risc ridicat, examinarea datelor în privința posibilelor bias-uri și măsuri de detectare, prevenire și atenuare (art. 10 alin. (2) lit. (f) și (g)). Regulamentul (UE) 2026/1744 a stabilit condițiile în care furnizorii pot prelucra, excepțional, categorii speciale de date personale pentru detectarea și corectarea bias-ului.

Pe înțelesul tuturor

O oglindă retrovizoare arată fidel drumul din spate. Dacă o folosești ca să conduci înainte, vei repeta exact traseul din trecut, cu toate gropile lui.

Exemplu

Un model de scoring de credit antrenat pe aprobările din anii trecuți poate da scoruri mai mici solicitanților din zonele unde, istoric, s-au aprobat mai puține credite. Evaluarea bonității persoanelor fizice este sistem cu risc ridicat în AI Act (anexa III, punctul 5 lit. (b)).

De reținut

• NIST tratează bias-ul ca pe un risc de identificat și gestionat pe tot ciclul de viață al sistemului, nu ca pe o eroare care se repară o singură dată.
• Măsoară performanța separat pe grupuri (de exemplu rata de erori pe vârstă sau gen), nu doar media generală.

Nu confunda

• Bias statistic (eroare sistematică a unui estimator) vs. bias în sens social (discriminare). Primul poate produce al doilea, dar nu sunt același lucru.
• Eliminarea atributului protejat din date nu garantează lipsa discriminării, din cauza variabilelor proxy.

Termeni înrudiți

• Cele 4 categorii de risc în EU AI Act: Cum împarte AI Act sistemele AI după risc: practici interzise, risc ridicat, obligații de transparență și risc minim.
• Explicabilitatea deciziilor AI (XAI): Metodele tehnice și drepturile legale prin care o decizie luată cu ajutorul AI poate fi explicată persoanei afectate.
• Alinierea inteligenței artificiale (AI alignment): Problema de a face un sistem AI să urmărească ce vor de fapt oamenii, nu doar formularea literală a obiectivului.
• Evaluări și benchmark-uri de siguranță: Seturile publice de teste cu care se măsoară, comparabil între modele, tendința de a da răspunsuri false, toxice sau periculoase.