Ce înseamnă Transfer learning
Transfer learning („învățare prin transfer”) înseamnă să nu pornești de la zero. Iei un model care a învățat deja ceva general, de exemplu să recunoască forme și texturi din milioane de imagini sau să înțeleagă limbajul din miliarde de texte, și îl adaptezi la problema ta, cu un set de date mult mai mic.
Este motivul pentru care o firmă mică poate construi astăzi un model bun fără să aibă milioane de exemple și fără să plătească o antrenare de la zero. Modelele fundamentale (foundation models) sunt gândite tocmai pentru a fi refolosite astfel.
Cum funcționează
Straturile de la început ale unui model antrenat au învățat lucruri generale (margini, forme, structuri de limbaj), utile pentru multe sarcini. Varianta cea mai simplă: păstrezi aceste straturi neschimbate („înghețate”) și antrenezi doar câteva straturi noi la final, pentru noua ta sarcină.
Varianta mai puternică este fine-tuning-ul: continui antrenarea și pentru o parte din straturile vechi, cu o rată de învățare mică, ca să le adaptezi ușor fără să „uite” ce știau.
Pe înțelesul tuturor
Un om care știe să conducă o mașină învață să conducă o dubă în câteva ore, nu în câteva luni. Nu reînvață ce e volanul sau semaforul; doar se adaptează la dimensiuni și la frânare. Așa face și modelul: păstrează ce știe și învață doar diferența.
Exemplu
O echipă de agronomi vrea să recunoască bolile frunzelor de porumb și are doar 2.000 de poze etichetate. Antrenat de la zero, un model ar memora pozele. Pornind de la un model pre-antrenat pe milioane de imagini generale și antrenând doar ultimele straturi, ajung în câteva ore la rezultate utile.
De reținut
- Transfer learning refolosește cunoștințele unui model existent pentru o sarcină nouă.
- Reduce enorm nevoia de date și de putere de calcul.
- Funcționează cel mai bine când sarcina nouă seamănă cu cea originală.
Nu confunda
- Transfer learning vs. fine-tuning: transfer learning este ideea generală de refolosire; fine-tuning-ul este una dintre metodele concrete prin care se face.
Termeni înrudiți
- Fine-tuning: Antrenarea suplimentară a unui model deja antrenat, pe un set mic de exemple, ca să se specializeze pe o sarcină, un domeniu sau un stil.
- Model fundamental (foundation model): Model AI mare, antrenat pe date foarte variate, care poate fi adaptat la multe sarcini diferite; GPT, Claude, Gemini sau Llama sunt astfel de modele.
- LoRA: Metodă ieftină de fine-tuning care lasă modelul original neschimbat și antrenează doar niște matrice mici adăugate pe lângă el.
- Date de antrenare: Exemplele din care învață un model AI: texte, imagini, sunete sau tabele. Calitatea lor decide în mare măsură calitatea modelului.
- CNN (rețea neuronală convoluțională): Tip de rețea neuronală specializat pe imagini, care caută tipare mici (margini, colțuri) și le combină în forme și obiecte.