Ce înseamnă Epocă (epoch)
O epocă (în engleză epoch) înseamnă că modelul a „văzut” o dată fiecare exemplu din setul de antrenare. De obicei, o singură trecere nu ajunge, așa că modelele clasice sunt antrenate pe zeci sau chiar sute de epoci.
Numărul de epoci este un hiperparametru: prea puține și modelul nu învață destul (underfitting), prea multe și începe să memoreze exemplele în loc să învețe regula (overfitting). Modelele lingvistice foarte mari sunt adesea antrenate pe cel mult câteva treceri prin date, pentru că setul de date este uriaș.
Cum funcționează
Datele sunt amestecate și împărțite în batch-uri. Modelul procesează un batch, își actualizează ponderile, trece la următorul. Când a terminat toate batch-urile, s-a încheiat o epocă. Apoi datele sunt de obicei amestecate din nou și începe epoca următoare.
După fiecare epocă se măsoară performanța pe setul de validare. Dacă aceasta nu se mai îmbunătățește câteva epoci la rând, antrenarea poate fi oprită automat; tehnica se numește early stopping (oprire timpurie).
Pe înțelesul tuturor
O epocă este ca o recitire completă a manualului înainte de examen. O singură lectură nu ajunge; după câteva, înțelegi materia. Dacă îl citești de cincizeci de ori, ajungi să știi pe de rost paginile, dar nu neapărat să rezolvi o problemă nouă.
Exemplu
Ai 10.000 de poze de antrenare și batch-uri de câte 100 de poze. O epocă înseamnă 10.000 ÷ 100 = 100 de pași de actualizare a ponderilor. Dacă antrenezi 20 de epoci, modelul face 2.000 de pași și vede fiecare poză de 20 de ori.
De reținut
- O epocă = o trecere completă prin toate datele de antrenare.
- Numărul de pași dintr-o epocă depinde de mărimea batch-ului.
- Prea multe epoci duc la overfitting; early stopping ajută la alegerea momentului de oprire.
Nu confunda
- Epocă vs. pas (iterație): un pas înseamnă o singură actualizare a ponderilor, pe un batch; o epocă are de obicei mulți pași.
Termeni înrudiți
- Batch: Un grup de exemple pe care modelul le procesează împreună înainte de a-și actualiza ponderile.
- Antrenarea unui model: Procesul prin care un model AI învață din date, ajustându-și parametrii pas cu pas, ca să greșească tot mai puțin.
- Overfitting (supraînvățare): Situația în care un model memorează datele de antrenare, cu tot cu zgomot, și apoi greșește pe date noi.
- Set de validare și set de test: Părți din date păstrate deoparte: setul de validare ajută la reglarea modelului, iar setul de test dă verdictul final pe date nevăzute.
- Hiperparametri: Setările alese de om înainte de antrenare (rată de învățare, număr de epoci, mărimea rețelei), care nu sunt învățate din date.