Ce înseamnă Cutie neagră (black box)
Expresia cutie neagră (black box) descrie un sistem la care cunoști intrarea și ieșirea, dar nu poți vedea sau înțelege ce se întâmplă în interior. În AI, termenul se folosește mai ales pentru rețelele neuronale mari.
Paradoxul este că programatorii știu exact ce operații face modelul. Problema e alta: decizia rezultă din milioane sau miliarde de parametri ajustați automat la antrenare, iar niciunul nu are, luat separat, un sens clar pentru un om.
Cum funcționează
Un model simplu, de exemplu o regulă „dacă venitul depășește X și nu există restanțe, aprobă”, poate fi citit direct. O rețea neuronală profundă transformă însă datele prin zeci sau sute de straturi, fiecare combinând valorile anterioare. Ce „înseamnă” un neuron din stratul 40 nu este scris nicăieri.
Termenul mai are un sens: un sistem poate fi cutie neagră și pentru că firma care îl deține nu publică modelul sau datele de antrenare. Atunci nici experții independenți nu îl pot verifica.
Pe înțelesul tuturor
Este ca un bucătar excelent care gătește din instinct: mâncarea iese bună, dar dacă îl întrebi rețeta exactă, nu ți-o poate spune, pentru că nici el nu o are scrisă.
Exemplu
O persoană aplică online pentru un credit de nevoi personale și este respinsă în câteva secunde. Dacă banca folosește un model de tip cutie neagră fără instrumente de explicare, nici angajatul de la ghișeu nu poate spune exact de ce. Din acest motiv, regulile europene cer ca deciziile importante luate automat să poată fi explicate și contestate.
De reținut
- „Cutie neagră” nu înseamnă că modelul e secret sau magic, ci greu de interpretat.
- Problema e mai gravă în domenii sensibile: sănătate, justiție, finanțe, angajări.
- Explicabilitatea (XAI) și auditul sunt răspunsul la problema cutiei negre.
Nu confunda
- Cutie neagră în AI vs. cutia neagră a avionului: înregistratorul de zbor păstrează date pentru anchete, sensul este aproape opus.
Termeni înrudiți
- Explicabilitate (XAI): Capacitatea unui sistem AI de a arăta, pe înțelesul oamenilor, de ce a dat un anumit răspuns sau a luat o anumită decizie.
- Rețea neuronală: Model de AI format din mulți neuroni artificiali legați între ei, care învață din exemple ajustând puterea legăturilor.
- Deep learning (învățare profundă): Tip de machine learning bazat pe rețele neuronale cu multe straturi; stă în spatele chatboților, traducerilor și recunoașterii imaginilor.
- Audit algoritmic: Verificarea independentă a unui sistem AI pentru a afla dacă funcționează corect, echitabil, sigur și conform regulilor.
- Parametri (ponderi): Numerele învățate de un model în timpul antrenării, în care este stocat tot ce „știe” acesta; modelele mari au miliarde.