Ce înseamnă Set de date (dataset)
Un set de date (în engleză dataset) este o colecție organizată de date de același fel, adunată pentru un scop: un tabel cu prețurile apartamentelor vândute într-un an, o mie de ore de înregistrări vocale cu transcrierea lor sau un milion de fotografii cu descrierea a ce apare în ele.
În AI, seturile de date servesc atât la antrenarea modelelor, cât și la evaluarea lor. Unele seturi publice au devenit celebre pentru că au permis compararea cercetărilor: MNIST (70.000 de cifre scrise de mână), ImageNet (peste 14 milioane de imagini etichetate) sau Common Crawl (o arhivă uriașă de pagini web publice, folosită la antrenarea multor modele de limbaj).
Un set de date bun este reprezentativ pentru situațiile reale, suficient de mare, corect etichetat și documentat: de unde provin datele, cum au fost adunate și ce limite au.
Cum funcționează
Înainte de antrenare, setul se împarte de obicei în trei: setul de antrenare (cel mai mare, din care modelul învață), setul de validare (folosit în timpul dezvoltării, pentru a alege setările) și setul de test (păstrat deoparte, pentru evaluarea finală). O împărțire des întâlnită este 80% / 10% / 10%.
Separarea este esențială: dacă testezi modelul pe exemple pe care le-a văzut deja, rezultatele par excelente, dar nu spun nimic despre cum se va descurca pe date noi.
Pe înțelesul tuturor
Un set de date seamănă cu o culegere de probleme. Profesorul folosește majoritatea problemelor la ore (antrenare), câteva pentru lucrări de verificare pe parcurs (validare) și păstrează câteva nevăzute pentru teză (test). Dacă elevii ar vedea dinainte subiectele tezei, nota n-ar mai arăta ce știu cu adevărat.
Exemplu
Pentru un model care citește numerele de înmatriculare românești, o firmă strânge 50.000 de fotografii cu mașini, din unghiuri diferite, ziua și noaptea, pe ploaie și pe soare, și notează pentru fiecare numărul corect. Acesta este setul de date: 40.000 de poze merg la antrenare, iar restul la validare și test.
De reținut
- Un set de date este o colecție organizată de exemple, adunată pentru un scop anume.
- Se împarte în antrenare, validare și test, pentru ca evaluarea să fie cinstită.
- Un set de date nereprezentativ produce un model care greșește în situații reale.
Nu confunda
- Set de date vs. bază de date: baza de date este un sistem software pentru stocarea și interogarea datelor (de exemplu MySQL); setul de date este conținutul în sine, adesea exportat în fișiere.
- Set de date vs. big data: un set de date poate fi foarte mic; big data se referă la volume atât de mari încât cer unelte speciale.
Termeni înrudiți
- Date de antrenare: Exemplele din care învață un model AI: texte, imagini, sunete sau tabele. Calitatea lor decide în mare măsură calitatea modelului.
- Set de validare și set de test: Părți din date păstrate deoparte: setul de validare ajută la reglarea modelului, iar setul de test dă verdictul final pe date nevăzute.
- Etichetarea datelor: Munca prin care oamenii adaugă răspunsul corect la fiecare exemplu (de pildă „pisică” la o poză), ca un model să poată învăța din el.
- Big data: Volume de date atât de mari, rapide sau variate încât nu mai pot fi procesate cu unelte obișnuite; materia primă a AI moderne.
- Benchmark (test de performanță AI): Un set standard de întrebări sau sarcini pe care sunt testate modelele AI, ca să poată fi comparate între ele.