Ce înseamnă Red teaming
Red teaming înseamnă să joci rolul atacatorului pentru a găsi punctele slabe ale unui sistem înainte să le găsească cineva rău intenționat. Termenul vine din exercițiile militare, unde „echipa roșie” simula inamicul, și este folosit de mult în securitatea informatică.
În AI, red teamerii încearcă să facă modelul să genereze conținut periculos sau ilegal, să dezvăluie date confidențiale, să-și ignore instrucțiunile, să manifeste bias sau să ia decizii greșite în situații-limită.
Cum funcționează
Echipa definește întâi ce riscuri testează (de exemplu dezinformare, date personale, instrucțiuni periculoase). Apoi experți din domenii diferite (securitate, medicină, chimie, drept, lingvistică) scriu prompturi creative: jocuri de rol, cereri împărțite în pași mici, texte în alte limbi, instrucțiuni ascunse în documente.
Pe lângă oameni, se folosesc și modele AI care generează automat mii de atacuri. Rezultatele sunt documentate, iar dezvoltatorii repară problemele prin filtre, reantrenare sau modificarea instrucțiunilor de sistem. Ciclul se repetă la fiecare versiune nouă.
Pe înțelesul tuturor
Seamănă cu un test de penetrare la o bancă: plătești pe cineva să încerce să intre în seif, ca să afli unde sunt slăbiciunile înainte să le afle hoții.
Exemplu
O firmă românească lansează un chatbot pentru clienți bazat pe un LLM. Înainte de lansare, o echipă internă încearcă să-l convingă să ofere reduceri inexistente, să dezvăluie promptul de sistem sau să facă afirmații jignitoare. Descoperă că modelul cedează la un anumit tip de joc de rol și adaugă reguli și verificări suplimentare.
De reținut
- Red teaming caută intenționat eșecurile, nu confirmă că totul merge.
- Echipele bune sunt diverse: tehnicieni, experți din domeniu, vorbitori de alte limbi.
- Este o practică cerută tot mai des de standarde și reglementări pentru modelele mari.
Nu confunda
- Red teaming vs. benchmark: un benchmark măsoară performanța pe un set fix de întrebări; red teaming caută creativ, uneori fără listă, situații în care sistemul cedează.
Termeni înrudiți
- Siguranța AI (AI safety): Domeniul care încearcă să facă sistemele AI să funcționeze fără a provoca rău, accidental sau prin abuz, acum și pe viitor.
- Jailbreak: Încercarea de a păcăli un model AI să-și ignore regulile de siguranță și să dea răspunsuri pe care, în mod normal, le-ar refuza.
- Prompt injection: Atac prin care instrucțiuni ascunse într-un text (pagină web, e-mail, document) deturnează un model AI să facă altceva decât a cerut utilizatorul.
- Alinierea AI: Efortul de a face sistemele AI să urmărească scopurile, valorile și intențiile oamenilor, nu doar instrucțiunile lor literale.
- Benchmark (test de performanță AI): Un set standard de întrebări sau sarcini pe care sunt testate modelele AI, ca să poată fi comparate între ele.