Ce înseamnă Set de validare și set de test
Înainte de antrenare, datele se împart de obicei în trei: setul de antrenare (din care modelul învață), setul de validare (pe care se compară variante ale modelului și se aleg hiperparametrii) și setul de test (folosit o singură dată, la final, pentru a estima cât de bine va merge modelul în realitate).
Separarea este esențială: un model evaluat pe datele pe care le-a învățat pare mereu mai bun decât este. Împărțiri frecvente sunt 80/10/10 sau 70/15/15.
Cum funcționează
Setul de test trebuie să rămână „sigilat” până la final. Dacă te uiți la el de multe ori și ajustezi modelul după rezultate, ajungi indirect să antrenezi pe el, iar scorul final devine prea optimist.
O greșeală frecventă este scurgerea de date (data leakage): aceleași exemple sau exemple aproape identice ajung și în antrenare, și în test. Când datele sunt puține, se folosește validarea încrucișată (cross-validation): datele se împart în mai multe părți, iar fiecare parte devine pe rând set de validare.
Pe înțelesul tuturor
Setul de antrenare sunt lecțiile și temele, setul de validare sunt simulările de examen după care îți ajustezi modul de învățare, iar setul de test este examenul de Bacalaureat: subiecte pe care nu le-ai văzut niciodată, date o singură dată.
Exemplu
Ai 10.000 de radiografii etichetate. Folosești 8.000 pentru antrenare, 1.000 pentru validare și 1.000 pentru test. Atenție: dacă un pacient are trei radiografii, toate trebuie să fie în același set; altfel modelul poate „recunoaște” pacientul în loc să recunoască boala, iar rezultatul la test va fi înșelător.
De reținut
- Antrenarea, reglarea și evaluarea finală se fac pe date diferite.
- Setul de test se folosește o singură dată, la final.
- Exemplele aproape identice nu trebuie să ajungă în seturi diferite.
Nu confunda
- Validare vs. test: pe setul de validare iei decizii (ce model, ce hiperparametri); pe setul de test doar măsori. Mulți folosesc termenii amestecat, dar distincția contează.
Termeni înrudiți
- Overfitting (supraînvățare): Situația în care un model memorează datele de antrenare, cu tot cu zgomot, și apoi greșește pe date noi.
- Hiperparametri: Setările alese de om înainte de antrenare (rată de învățare, număr de epoci, mărimea rețelei), care nu sunt învățate din date.
- Set de date (dataset): O colecție organizată de exemple (texte, imagini, tabele) folosită pentru a antrena, verifica sau compara modele AI.
- Benchmark (test de performanță AI): Un set standard de întrebări sau sarcini pe care sunt testate modelele AI, ca să poată fi comparate între ele.
- Acuratețe: Procentul de răspunsuri corecte ale unui model din totalul răspunsurilor; simplu de înțeles, dar înșelător când clasele sunt dezechilibrate.