Ce înseamnă Dropout
Dropout este o tehnică simplă și foarte eficientă împotriva overfitting-ului în rețelele neuronale, propusă în 2012 de echipa lui Geoffrey Hinton de la Universitatea din Toronto. La fiecare pas de antrenare, o parte din neuroni (de exemplu 20% sau 50%) sunt „opriți” temporar: ieșirea lor este pusă pe zero.
Pentru că nu știe niciodată ce neuroni vor lipsi, rețeaua este forțată să distribuie informația pe mai mulți neuroni, în loc să se bazeze pe câteva legături „vedetă” care memorează date de antrenare.
Cum funcționează
Procentul de neuroni opriți se numește rata de dropout și este un hiperparametru. La fiecare batch se aleg aleatoriu alți neuroni. Valorile celor rămași activi sunt mărite proporțional, ca suma totală să rămână comparabilă.
La folosirea modelului (inferență), dropout-ul este dezactivat: toți neuronii lucrează. Efectul este asemănător cu media mai multor rețele ușor diferite, ceea ce face predicțiile mai robuste.
Pe înțelesul tuturor
Un antrenor de fotbal scoate la întâmplare câțiva jucători din fiecare antrenament. Echipa nu se mai poate baza doar pe vedetă, așa că toată lumea învață să joace mai bine. La meci intră toți, iar echipa e mai solidă.
Exemplu
Un strat ascuns are 100 de neuroni și rata de dropout 0,3. La fiecare pas de antrenare, aproximativ 30 de neuroni aleși la întâmplare dau zero, iar ceilalți 70 lucrează. La pasul următor, alți 30 sunt opriți. După antrenare, toți cei 100 sunt folosiți la fiecare predicție.
De reținut
- Dropout oprește aleatoriu neuroni doar în timpul antrenării, nu și la folosire.
- Rata tipică este între 10% și 50%, în funcție de model.
- Este o formă de regularizare care reduce overfitting-ul.
Nu confunda
- Dropout vs. pruning: dropout oprește neuroni temporar, la întâmplare, în antrenare; pruning-ul elimină definitiv legături sau neuroni puțin importanți, ca modelul să devină mai mic.
Termeni înrudiți
- Regularizare: Familie de tehnici care împiedică un model să devină prea complicat, ca să nu memoreze datele de antrenare (overfitting).
- Overfitting (supraînvățare): Situația în care un model memorează datele de antrenare, cu tot cu zgomot, și apoi greșește pe date noi.
- Neuron artificial: Cea mai mică unitate de calcul dintr-o rețea neuronală: adună intrările ponderate și decide ce valoare transmite mai departe.
- Strat (layer): Un nivel dintr-o rețea neuronală: un grup de neuroni care primesc datele de la nivelul anterior, le transformă și le dau mai departe.
- Rețea neuronală: Model de AI format din mulți neuroni artificiali legați între ei, care învață din exemple ajustând puterea legăturilor.