dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLMOPS Toate conceptele LLMOps

Promptfoo CLI: Teste de Regresie & Comparare Modele în YAML în LLMOps, Evaluare & Securitate AI

Evaluare Automată & Testare de Prompturi Nivel: începător

Utilitarul de terminal de mare viteză pentru testarea și compararea prompturilor și a modelelor: configurare promptfooconfig.yaml, zeci de furnizori și matrice vizuală de rezultate.

Configurare & comandă 
# Lansare evaluare din terminal și deschidere panou web local:
npx promptfoo@latest eval
npx promptfoo@latest view

Descriere & Utilizare

Când ai de comparat trei formulări diferite de prompt pe cinci modele de limbaj concurente (GPT-4o, Claude Sonnet, Gemini Flash, DeepSeek-R1, Llama 3 local) pe un set de 20 de cazuri de test, scrierea de scripturi Python devine anevoioasă.

Promptfoo este instrumentul CLI favorit al inginerilor de prompturi: funcționează declarativ printr-un simplu fișier de configurare promptfooconfig.yaml. Definești lista de prompturi, lista de furnizori (OpenAI, Anthropic, Ollama, API-uri interne) și o matrice de teste cu asertări automate.

Promptfoo rulează toate combinațiile în paralel, generează o matrice vizuală spectaculoasă în browser (promptfoo view) și îți arată exact care combinație oferă cea mai mare acuratețe cu cel mai mic cost și cea mai mică latență.

Cum să o reții ușor

💡 Este ca o fișă comparativă dintr-o revistă auto: pune cap la cap 5 mașini diferite pe același circuit de probe și îți arată într-un tabel clar cine a consumat cel mai puțin, cine a fost cel mai rapid și cine a frânat cel mai sigur.

Opțiuni și parametri tehnici

  • prompts: [prompt1.txt, prompt2.txt]: lista fișierelor de prompturi testate.
  • providers: [openai:gpt-4o-mini, anthropic:claude-3-5-haiku]: furnizorii evaluați.
  • assert: type: contains / equals / llm-rubric / cost / latency: regulile automate de validare a fiecărui răspuns.
  • defaultTest: options: opțiuni aplicate global pe toate testele din fișier.

Exemple practice și cazuri de utilizare

  • Asertare bazată pe criteriu LLM în YAML: - type: llm-rubricn value: Răspunsul menționează termenul de 14 zile pentru retur.
  • Asertare de cost maxim: - type: costn threshold: 0.005 (eșuează dacă apelul costă mai mult de jumătate de cent).
  • Testare automată împotriva atacurilor de tip jailbreak: folosește comanda npx promptfoo redteam init pentru generarea automată a sute de teste adversariale.

Sfaturi de configurare & capcane

Promptfoo nu necesită instalare permanentă: rulează direct npx promptfoo@latest init în orice folder pentru a genera un fișier demonstrativ gata de rulat în 30 de secunde!

Comenzi și ghiduri înrudite