Dezvoltarea sistemelor multi-agent suferă adesea de lipsa de determinism: un echipaj care funcționează perfect la prima rulare poate eșua la a treia din cauza halucinațiilor sau a instrucțiunilor ambigue. Comanda crewai test standardizează procesul de benchmark și testare automată a echipelor de agenți.
Comanda rulează echipa de un număr configurabil de iterații (de exemplu de 5 sau 10 ori) pe un set dat de date de intrare, utilizează un model LLM superior (evaluator de tip LLM-as-a-Judge) pentru a puncta acuratețea și consistența fiecărei sarcini, și generează un raport complet de metrici.
Raportul final evidențiază rata de succes pe sarcini, timpul mediu de execuție, consumul de tokeni și scorurile de calitate (1-10), ajutând inginerii să identifice instant dacă o modificare de prompt a reprezentat o îmbunătățire sau o regresie.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
crewai test |
Comanda principală de lansare a bateriei de evaluare automată. |
-n, --n_iterations |
Numărul de execuții consecutive pentru a obține semnificație statistică. |
-m, --model |
Modelul de limbaj folosit ca judecător extern independent (ex. `gpt-4o` sau `claude-3-7-sonnet`). |
eval_results.json |
Fișierul generat automat cu scorurile detaliate per sarcină și metricile de latență. |
Task Consistency Score |
Metrica ce măsoară cât de identice calitativ sunt răspunsurile pe rulări repetate. |
Exemple practice și configurații
Exemplul 1: Rularea unei suite de test de 5 iterații evaluate cu Claude 3.7 Sonnet
Executarea benchmark-ului direct din rădăcina proiectului CrewAI.
# În terminal:
$ crewai test -n 5 -m claude-3-7-sonnet
Starting CrewAI Test Suite...
Running iteration 1/5 [SUCCESS - 14.2s - Score: 9/10]
Running iteration 2/5 [SUCCESS - 12.8s - Score: 9/10]
Running iteration 3/5 [SUCCESS - 15.1s - Score: 8/10]
Running iteration 4/5 [SUCCESS - 13.0s - Score: 9/10]
Running iteration 5/5 [SUCCESS - 14.5s - Score: 10/10]
Test Summary:
• Total Iterations: 5
• Average Score: 9.0/10
• Execution Success Rate: 100%
• Average Duration: 13.92s
• Token Cost / Run: $0.042
Results saved to tests/eval_results.jsonRezultat & Impact
Certificarea statistică a fiabilității echipei înainte de lansarea în producție.Greșeli frecvente și bune practici
- Utilizarea aceluiași model LLM mai slab (de ex. un model de 8B tokeni) atât pentru sarcina de agent cât și ca evaluator, generând bias de auto-validare.
- Rularea testelor fără memorarea cache a rezultatelor intermediare, generând costuri uriașe pe API.