Ce înseamnă Red teaming în inteligența artificială
Dezvoltatorii de modele organizează echipe interne și externe care încearcă să obțină de la model conținut periculos, să ocolească regulile (jailbreak), să scoată promptul de sistem sau să găsească bias-uri. Rezultatele se folosesc pentru corecturi înainte de lansare și sunt descrise în fișele de sistem (system cards) pe care le publică unii furnizori.
AI Act cere furnizorilor de modele de uz general cu risc sistemic evaluarea modelului după protocoale standardizate, „inclusiv efectuarea și documentarea testării adversariale” (art. 55 alin. (1) lit. (a)). OWASP recomandă testarea adversarială și simularea atacurilor ca măsură împotriva prompt injection (LLM01:2025).
Cum funcționează
Manual: experți din domenii diferite (securitate, chimie, drept) scriu atacuri țintite.
Automat: un model generează cazuri de test pentru alt model, iar un clasificator marchează răspunsurile dăunătoare. Perez et al. (2022) au găsit astfel zeci de mii de răspunsuri ofensive ale unui chatbot de 280 de miliarde de parametri.
Problemele găsite devin date de antrenare, filtre sau reguli noi, apoi testul se repetă.
Pe înțelesul tuturor
O bancă angajează specialiști care încearcă să pătrundă în seif cu orice mijloace. Fiecare reușită arată un perete care trebuie întărit înainte de un atac real.
Exemplu
Testarea rezistenței la prompturi de tip „Do Anything Now” (DAN), care cer modelului să joace un personaj fără reguli, și la cereri care încearcă să extragă promptul de sistem.
De reținut
- Red teaming-ul găsește probleme, dar nu dovedește că nu mai există altele.
- Testează aplicația întreagă, nu doar modelul: uneltele, accesul la date și permisiunile unui agent schimbă riscul.
Nu confunda
- Red teaming vs. benchmark: benchmark-ul folosește un set fix de întrebări; red teaming-ul caută activ atacuri noi.
- Red teaming AI vs. test de penetrare clasic: pe lângă infrastructură, se testează conținutul generat și comportamentul modelului.
Termeni înrudiți
- Evaluări și benchmark-uri de siguranță: Seturile publice de teste cu care se măsoară, comparabil între modele, tendința de a da răspunsuri false, toxice sau periculoase.
- Alinierea inteligenței artificiale (AI alignment): Problema de a face un sistem AI să urmărească ce vor de fapt oamenii, nu doar formularea literală a obiectivului.
- Prompt injection indirect prin fișiere și web: Instrucțiuni ascunse în documente, pagini web sau e-mailuri, pe care modelul le citește și le execută ca și cum ar veni de la utilizator.
- Modele AI de uz general (GPAI) în AI Act: Ce obligații au, din 2 august 2025, furnizorii de modele de uz general, cum sunt LLM-urile mari, și când un model are risc sistemic.