Ce înseamnă Rată de învățare (learning rate)
Rata de învățare spune cât de mult își modifică modelul ponderile după fiecare pas de antrenare. Este probabil cel mai important hiperparametru: o valoare proastă poate face ca o antrenare scumpă să eșueze.
Dacă rata este prea mare, modelul „sare” peste soluția bună și eroarea poate crește în loc să scadă. Dacă este prea mică, învățarea durează foarte mult sau se blochează. Valorile tipice sunt mici, de exemplu 0,001 sau mai puțin.
Cum funcționează
La fiecare pas, gradientul arată direcția, iar rata de învățare stabilește lungimea pasului: pondere nouă = pondere veche − rata de învățare × gradient.
Rata nu rămâne de obicei constantă. Se folosesc programe (schedules): o perioadă de încălzire (warmup) la început, în care rata crește treptat, apoi o scădere lentă spre final, ca modelul să facă ajustări tot mai fine.
Pe înțelesul tuturor
Când cauți postul de radio pe un aparat vechi cu rotiță, întâi rotești repede ca să ajungi în zona potrivită, apoi tot mai fin. Dacă rotești mereu mult, treci peste post; dacă rotești mereu foarte puțin, ajungi după o oră.
Exemplu
Folosim aceeași eroare (w − 3)², pornind de la w = 10. Cu rata 0,1, w devine 8,6, apoi 7,48, apropiindu-se de 3. Cu rata 1,1, primul pas duce w la 10 − 1,1 × 14 = -5,4, apoi la 13,08: modelul sare de pe o parte pe alta și se îndepărtează tot mai mult. Cu rata 0,0001, după 1.000 de pași w este încă în jur de 8,7.
De reținut
- Rata de învățare controlează mărimea pașilor de corectare.
- Prea mare: antrenarea oscilează sau „explodează”; prea mică: antrenarea e foarte lentă.
- Se folosește de obicei o rată variabilă în timp (warmup și scădere treptată).
Nu confunda
- Rata de învățare nu este viteza cu care „învață” modelul ca un om: este doar un factor numeric care scalează corecturile.
Termeni înrudiți
- Gradient descent (coborârea gradientului): Metoda de optimizare prin care un model își ajustează ponderile în pași mici, mereu în direcția în care eroarea scade.
- Hiperparametri: Setările alese de om înainte de antrenare (rată de învățare, număr de epoci, mărimea rețelei), care nu sunt învățate din date.
- Funcție de pierdere (loss): Formula care măsoară cât de greșite sunt predicțiile unui model; antrenarea înseamnă micșorarea acestui număr.
- Antrenarea unui model: Procesul prin care un model AI învață din date, ajustându-și parametrii pas cu pas, ca să greșească tot mai puțin.
- Epocă (epoch): O trecere completă a modelului prin toate datele de antrenare; antrenarea durează de obicei mai multe epoci.