Red teaming înseamnă să ataci intenționat propria aplicație: o echipă sau o unealtă joacă rolul atacatorului și încearcă jailbreak-uri, prompt injection, extragerea promptului de sistem sau a datelor, abuzul de unelte. OWASP include testele adversariale regulate printre măsurile pentru LLM01 (prompt injection).
Uneltele open-source automatizează generarea atacurilor. Promptfoo folosește plugins (generatoare de intrări adversariale pe categorii de risc) și strategies (tehnici care împachetează intrările, de exemplu codificări sau atacuri pe mai mulți pași). PyRIT (Python Risk Identification Tool, Microsoft, depozitul actual microsoft/PyRIT) este un framework pentru scenarii de atac programate. garak (NVIDIA) se descrie ca scanner de vulnerabilități pentru LLM.
Pentru clasificarea rezultatelor se folosesc cadre publice: OWASP Top 10 for LLM Applications 2025 (LLM01 Prompt Injection … LLM10 Unbounded Consumption) și MITRE ATLAS, baza de tactici și tehnici de atac asupra sistemelor AI.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
redteam setup |
Interfață web care întreabă despre aplicație (câmpul Purpose), țintă, plugins și strategii, apoi salvează promptfooconfig.yaml. |
redteam run |
Generează cazurile de test adversariale și le rulează împotriva țintei. |
redteam report |
Afișează raportul cu atacurile reușite pe categorii. |
plugins |
Generatoare de atacuri pe categorii de risc; pentru unele, generarea se face prin serviciul Promptfoo, nu prin modelul tău. |
strategies |
Tehnici care transformă atacurile de bază în variante mai greu de detectat. |
MITRE ATLAS / OWASP LLM Top 10 |
Cadre de referință pentru a clasifica vulnerabilitățile găsite. |
Exemple practice și scenarii reale
Exemplul 1: Scanare fără interfață web
npx promptfoo@latest redteam init --no-gui
npx promptfoo@latest redteam run
npx promptfoo@latest redteam reportExemplul 2: Instalarea PyRIT și garak
Cele două unelte se configurează apoi după documentația lor (țintă, scenarii, sonde).
pip install pyrit
pip install garakGreșeli frecvente și capcane
- Rulezi red teaming împotriva unui sistem pe care nu ai dreptul să-l testezi. Testează doar aplicațiile tale sau cele pentru care ai acord scris.
- Te oprești la jailbreak-uri pe text. Testează și injecția indirectă (documente, pagini web) și abuzul de unelte, unde impactul e mai mare.
- Tratezi raportul ca listă finală. Atacurile se schimbă; repetă testele la fiecare lansare importantă și după schimbarea modelului.