Ce înseamnă Underfitting
Underfitting (în română „subînvățare” sau „subadaptare”) este opusul overfitting-ului: modelul nu reușește să învețe nici măcar datele de antrenare. Rezultatele sunt slabe peste tot, atât pe datele pe care le-a văzut, cât și pe cele noi.
Se întâmplă când modelul este prea simplu pentru problemă, când îi lipsesc informații importante (caracteristici relevante) sau când antrenarea a fost oprită prea devreme.
Cum funcționează
Semnul tipic: pierderea pe datele de antrenare rămâne mare și scade foarte puțin de la o epocă la alta, iar performanța pe antrenare și pe validare este la fel de slabă.
Remediile: un model mai capabil (mai multe straturi, mai mulți parametri), caracteristici mai bune (feature engineering), antrenare mai lungă sau mai puțină regularizare. Echilibrul dintre underfitting și overfitting este cunoscut ca compromisul bias–varianță.
Pe înțelesul tuturor
Este ca un elev care încearcă să rezolve toate problemele de fizică cu o singură formulă, pentru că doar pe aceea a învățat-o. Nu greșește din cauza memorării, ci pentru că instrumentul lui e prea simplu pentru ce i se cere.
Exemplu
O firmă vrea să prezică vânzările de înghețată pe tot anul și folosește doar o linie dreaptă în funcție de lună. Vânzările reale cresc vara și scad iarna, o curbă pe care linia dreaptă n-o poate urma. Modelul are 63% acuratețe pe datele de antrenare și 61% pe cele noi: ambele slabe și apropiate, semnul clasic de underfitting. Adăugarea temperaturii zilnice ca informație rezolvă mare parte din problemă.
De reținut
- Underfitting = rezultate slabe atât pe antrenare, cât și pe date noi.
- Cauze: model prea simplu, informații lipsă, antrenare prea scurtă.
- Scopul este un model suficient de complex, dar nu atât de complex încât să memoreze.
Nu confunda
- Underfitting vs. date proaste: dacă etichetele sunt greșite sau datele nu conțin informația necesară, niciun model nu va da rezultate bune, oricât de complex ar fi.
Termeni înrudiți
- Overfitting (supraînvățare): Situația în care un model memorează datele de antrenare, cu tot cu zgomot, și apoi greșește pe date noi.
- Feature engineering: Munca de a alege, transforma și crea din datele brute caracteristicile care ajută modelul să învețe.
- Regularizare: Familie de tehnici care împiedică un model să devină prea complicat, ca să nu memoreze datele de antrenare (overfitting).
- Hiperparametri: Setările alese de om înainte de antrenare (rată de învățare, număr de epoci, mărimea rețelei), care nu sunt învățate din date.
- Regresie: Sarcina de machine learning în care modelul prezice un număr, de exemplu un preț, o temperatură sau o durată.