Ce înseamnă Regularizare
Regularizarea cuprinde orice tehnică ce limitează intenționat cât de „liber” poate fi un model în timpul antrenării, astfel încât să învețe tipare generale, nu detalii întâmplătoare. Scopul principal este combaterea overfitting-ului.
Formele cele mai cunoscute sunt penalizarea ponderilor mari (regularizarea L2, numită și weight decay, și regularizarea L1), dropout-ul, oprirea timpurie a antrenării și augmentarea datelor.
Cum funcționează
La regularizarea L2, funcția de pierdere primește un termen suplimentar: pierdere totală = eroare + λ × suma pătratelor ponderilor. Modelul este astfel „taxat” pentru ponderi mari și preferă soluții mai simple și mai netede. Coeficientul λ (lambda) este un hiperparametru: cu cât e mai mare, cu atât penalizarea e mai puternică.
Regularizarea L1 folosește valorile absolute ale ponderilor și tinde să aducă multe ponderi exact la zero, practic eliminând caracteristicile inutile.
Pe înțelesul tuturor
Un profesor cere un eseu de cel mult o pagină. Limita îl obligă pe elev să păstreze doar ideile esențiale în loc să înșire tot ce știe. Regularizarea pune modelului o astfel de limită: îl lasă să explice datele, dar îl „taxează” pentru complicații inutile.
Exemplu
Un model care prezice consumul de energie al unei clădiri primește 200 de caracteristici, multe irelevante. Fără regularizare, obține 95% pe antrenare și 72% pe validare. Cu regularizare L1, modelul aduce la zero ponderile pentru 150 de caracteristici și ajunge la 88% pe antrenare și 85% pe validare: puțin mai slab pe datele cunoscute, mult mai bun pe cele noi.
De reținut
- Regularizarea sacrifică puțin din performanța pe antrenare pentru performanță mai bună pe date noi.
- L2 micșorează ponderile, L1 poate elimina complet unele caracteristici.
- Prea multă regularizare poate duce la underfitting.
Nu confunda
- Regularizare vs. normalizare: normalizarea aduce datele sau valorile din rețea la o scară comună; regularizarea limitează complexitatea modelului. Sunt lucruri diferite, deși numele seamănă.
Termeni înrudiți
- Overfitting (supraînvățare): Situația în care un model memorează datele de antrenare, cu tot cu zgomot, și apoi greșește pe date noi.
- Dropout: Tehnică de regularizare care oprește la întâmplare o parte din neuroni la fiecare pas de antrenare, ca rețeaua să nu depindă de câțiva dintre ei.
- Funcție de pierdere (loss): Formula care măsoară cât de greșite sunt predicțiile unui model; antrenarea înseamnă micșorarea acestui număr.
- Hiperparametri: Setările alese de om înainte de antrenare (rată de învățare, număr de epoci, mărimea rețelei), care nu sunt învățate din date.
- Underfitting: Situația în care un model este prea simplu sau prea puțin antrenat și nu prinde tiparele din date, greșind și pe datele cunoscute.