Ce înseamnă Explicabilitatea deciziilor AI (XAI)
La rețelele neuronale mari, drumul de la intrare la rezultat trece prin milioane sau miliarde de parametri și nu se poate citi direct (problema „cutiei negre”). XAI cuprinde metodele care estimează ce factori au contat într-o predicție.
Raportul NISTIR 8312 (septembrie 2021) propune patru principii: explicație (sistemul oferă motive pentru rezultat), sens (explicația este înțeleasă de destinatar), acuratețea explicației (reflectă corect procesul care a produs rezultatul) și limitele cunoașterii (sistemul funcționează doar în condițiile pentru care a fost proiectat).
Cum funcționează
LIME (Ribeiro et al., 2016) explică o predicție aproximând modelul, în jurul acelui caz, cu un model simplu și interpretabil.
SHAP (Lundberg și Lee, 2017) atribuie fiecărei caracteristici o valoare de importanță pentru o predicție, pe baza valorilor Shapley din teoria jocurilor.
Explicațiile contrafactuale (Wachter et al., 2017) spun ce ar fi trebuit să fie diferit pentru alt rezultat, fără a deschide modelul.
Cadrul legal: GDPR dă dreptul de a nu fi supus unei decizii bazate exclusiv pe prelucrare automată care produce efecte juridice sau te afectează similar în mod semnificativ (art. 22) și dreptul la „informații semnificative privind logica utilizată” (art. 13–15). AI Act dă persoanei afectate de o decizie luată pe baza unui sistem cu risc ridicat din anexa III dreptul la explicații clare despre rolul sistemului și elementele principale ale deciziei (art. 86).
Pe înțelesul tuturor
Un judecător nu poate comunica doar verdictul. Trebuie să scrie o motivare, ca părțile să înțeleagă probele și raționamentul și să poată contesta decizia. Explicabilitatea cere același lucru de la o decizie asistată de AI.
Exemplu
La un credit refuzat, o explicație contrafactuală poate suna așa: „Dacă venitul lunar declarat ar fi fost mai mare cu 300 de lei, cererea ar fi fost aprobată.” Persoana află ce poate schimba, fără să vadă modelul.
De reținut
- Art. 86 din AI Act se aplică deciziilor luate de implementator pe baza unui sistem din anexa III (cu excepția infrastructurii critice) care produc efecte juridice sau afectează semnificativ persoana.
- Explicațiile post-hoc (LIME, SHAP) sunt aproximări ale modelului; de aceea NIST tratează acuratețea explicației ca principiu separat.
Nu confunda
- Explicabilitate vs. transparență: transparența (art. 13 și art. 50 din AI Act) înseamnă informații despre sistem; explicabilitatea înseamnă motivele unei decizii anume.
- AI Act nu prevede o „aprobare de explicabilitate”. Sistemele cu risc ridicat trec prin evaluarea conformității și trebuie să fie suficient de transparente încât implementatorul să le poată interpreta rezultatele (art. 13).
Termeni înrudiți
- Supravegherea umană (human-in-the-loop): Cerința ca sistemele AI cu risc ridicat să poată fi monitorizate, contrazise și oprite de oameni cu competența necesară.
- Bias algoritmic și discriminare: Când un sistem AI produce rezultate sistematic inechitabile pentru anumite grupuri, din cauza datelor, a modelului sau a felului în care e folosit.
- Cele 4 categorii de risc în EU AI Act: Cum împarte AI Act sistemele AI după risc: practici interzise, risc ridicat, obligații de transparență și risc minim.
- Confidențialitatea datelor și GDPR în AI: Ce cere GDPR când date personale ajung în datele de antrenare sau în prompturile trimise unui serviciu AI.