Ce înseamnă Siguranța AI (AI safety)
Siguranța AI (AI safety) este domeniul de cercetare și practică ce urmărește ca sistemele AI să facă ce intenționăm, să nu producă daune neprevăzute și să nu poată fi folosite ușor în scopuri periculoase.
Acoperă riscuri foarte diferite: de la un chatbot care dă sfaturi medicale greșite sau un sistem care poate fi păcălit să ofere instrucțiuni periculoase, până la îngrijorări pe termen lung legate de sisteme mult mai capabile decât oamenii.
Cum funcționează
Câteva direcții principale: alinierea (modelul să urmeze intențiile și valorile oamenilor, de exemplu prin RLHF), robustețea (să nu cedeze la jailbreak, prompt injection sau date neobișnuite), evaluările de capabilități periculoase (testarea dacă un model poate ajuta, de exemplu, la atacuri cibernetice sau la arme biologice), interpretabilitatea (înțelegerea a ce se întâmplă în interiorul modelului) și monitorizarea după lansare.
Marile companii publică politici de siguranță și rapoarte despre modele, iar mai multe guverne au creat institute dedicate evaluării AI (Marea Britanie și SUA din 2023, apoi alte țări). În UE, AI Act cere evaluări suplimentare pentru modelele de uz general cu risc sistemic.
Pe înțelesul tuturor
Este ca ingineria de siguranță din aviație: nu te mulțumești că avionul zboară, ci testezi ce se întâmplă la furtună, la defecțiuni și la erori ale pilotului, înainte ca pasagerii să urce la bord.
Exemplu
Înainte să lanseze un model nou, o companie AI îl dă unor echipe interne și externe care încearcă să-l facă să explice cum se fabrică substanțe periculoase sau să scrie programe malițioase. Pe baza rezultatelor, adaugă filtre, reantrenează modelul și publică un raport despre riscurile găsite.
De reținut
- Siguranța AI privește atât riscuri actuale, cât și riscuri viitoare.
- Se bazează pe testare, aliniere, robustețe și monitorizare continuă.
- Nu există sistem AI complet sigur; obiectivul este reducerea riscului.
Nu confunda
- AI safety vs. securitatea AI (AI security): securitatea se ocupă mai ales de atacuri asupra sistemelor (furt de model, prompt injection); siguranța include și comportamentul nedorit fără atacator. Cele două se suprapun parțial.
Termeni înrudiți
- Alinierea AI: Efortul de a face sistemele AI să urmărească scopurile, valorile și intențiile oamenilor, nu doar instrucțiunile lor literale.
- Red teaming: Testarea unui sistem AI de către oameni care încearcă intenționat să-l facă să greșească, să ocolească regulile sau să producă rău.
- Risc existențial (AI): Ipoteza că sisteme AI foarte avansate ar putea, în viitor, să scape de sub control și să pună în pericol omenirea.
- Jailbreak: Încercarea de a păcăli un model AI să-și ignore regulile de siguranță și să dea răspunsuri pe care, în mod normal, le-ar refuza.
- RLHF (învățare din feedback uman): Metodă de antrenare prin care un model de limbaj învață ce răspunsuri preferă oamenii, din comparațiile făcute de evaluatori.
- Guvernanța AI: Regulile, rolurile și procesele prin care o organizație sau un stat controlează cum se dezvoltă și se folosește AI.