Ce înseamnă Funcție de pierdere (loss)
Funcția de pierdere (în engleză loss function) transformă greșelile unui model într-un singur număr. Dacă predicțiile sunt perfecte, pierderea este 0 (sau foarte aproape); cu cât sunt mai greșite, cu atât pierderea crește.
Este „busola” antrenării: tot ce face gradient descent este să modifice ponderile astfel încât acest număr să scadă. De aceea alegerea funcției de pierdere contează: modelul optimizează exact ce măsoară ea, nu neapărat ce ne dorim de fapt.
Cum funcționează
Pentru probleme în care se prezice un număr (regresie), se folosește des eroarea pătratică medie (MSE): se iau diferențele dintre predicție și realitate, se ridică la pătrat și se face media. Ridicarea la pătrat penalizează mult greșelile mari.
Pentru clasificare se folosește de obicei entropia încrucișată (cross-entropy), care pedepsește modelul când dă o probabilitate mică răspunsului corect. Modelele lingvistice mari sunt antrenate tocmai cu cross-entropy, pe sarcina de a ghici următorul token.
Pe înțelesul tuturor
Funcția de pierdere este ca punctajul de penalizare la un concurs de tir: fiecare săgeată departe de centru adaugă puncte de penalizare, cu atât mai multe cu cât e mai departe. Antrenamentul înseamnă să tragi din nou și din nou, încercând să micșorezi totalul.
Exemplu
Un model estimează prețul a trei apartamente (în mii de euro): prezice 110, 140 și 200, iar prețurile reale sunt 100, 150 și 200. Diferențele sunt 10, -10 și 0; la pătrat: 100, 100 și 0; media (MSE) este aproximativ 66,7. Pentru clasificare: dacă modelul dă 90% șanse răspunsului corect, pierderea cross-entropy este circa 0,11; dacă dă doar 10%, pierderea sare la circa 2,3.
De reținut
- Pierderea este un număr care rezumă cât de mult greșește modelul.
- MSE se folosește des la regresie, cross-entropy la clasificare și la modelele de limbaj.
- O pierdere mică pe datele de antrenare nu garantează rezultate bune pe date noi (vezi overfitting).
Nu confunda
- Pierdere vs. acuratețe: pierderea este folosită de model ca să învețe și ține cont de cât de sigur a fost; acuratețea este o măsură pentru oameni, care numără doar răspunsurile corecte.
Termeni înrudiți
- Gradient descent (coborârea gradientului): Metoda de optimizare prin care un model își ajustează ponderile în pași mici, mereu în direcția în care eroarea scade.
- Backpropagation: Metoda prin care o rețea neuronală află cât a contribuit fiecare pondere la eroare, ca să știe cum să le corecteze.
- Antrenarea unui model: Procesul prin care un model AI învață din date, ajustându-și parametrii pas cu pas, ca să greșească tot mai puțin.
- Regresie: Sarcina de machine learning în care modelul prezice un număr, de exemplu un preț, o temperatură sau o durată.
- Clasificare: Sarcina de machine learning în care modelul pune fiecare exemplu într-o categorie dintr-o listă fixă, de exemplu „spam” sau „nu e spam”.
- Overfitting (supraînvățare): Situația în care un model memorează datele de antrenare, cu tot cu zgomot, și apoi greșește pe date noi.