Un Golden Dataset reprezintă un set strict de 100-500 de perechi Întrebare-Răspuns-Context etalonate și verificate riguros de experți umani din domeniu. Orice modificare adusă sistemului (un nou model LLM, o altă strategie de chunking sau o nouă bază vectorială) trebuie testată împotriva Golden Dataset-ului în pipeline-ul CI/CD înainte de lansare.
Structura standard a unei înregistrări din Golden Dataset:
{
"id": "qa_enterprise_042",
"category": "termeni_legali",
"question": "Care este termenul de preaviz pentru rezilierea unilaterală a contractului?",
"ground_truth_context": "Articolul 14.2: Oricare parte poate denunța prezentul contract cu un preaviz scris de minim 30 de zile calendaristice.",
"ground_truth_answer": "Termenul de preaviz este de cel puțin 30 de zile calendaristice, conform Articolului 14.2.",
"expected_keywords": ["30 de zile", "scris", "14.2"]
}Prin integrarea acestui set în teste automate executate cu pytest sau promptfoo, echipele se asigură că optimizările noi nu distrug funcționalitățile de bază validate anterior.
Întrebări & Exemple practice:
Crearea unui Golden Dataset pentru Testare Continuă de RegresieAi o întrebare despre Crearea unui Golden Dataset pentru Testare Continuă de Regresie sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.