Ce înseamnă Funcție de activare
Un neuron artificial adună valorile primite, fiecare înmulțită cu o pondere. Rezultatul trece apoi printr-o funcție de activare, care decide ce iese din neuron: poate tăia valorile negative, poate comprima rezultatul între 0 și 1 sau îl poate transforma în probabilități.
Fără funcții de activare, oricâte straturi ai pune, rețeaua ar putea învăța doar relații în linie dreaptă (liniare), pentru că o succesiune de calcule liniare este tot un calcul liniar. Funcția de activare introduce „curbura” (neliniaritatea) care permite recunoașterea fețelor sau înțelegerea limbajului.
Cum funcționează
ReLU (Rectified Linear Unit), cea mai folosită: dacă intrarea este negativă, dă 0; altfel, lasă valoarea neschimbată. Sigmoid comprimă orice număr între 0 și 1, util pentru „da/nu”. Tanh comprimă între -1 și 1. Softmax, folosită de obicei în stratul de ieșire, transformă o listă de scoruri în probabilități care însumează 100%.
Modelele lingvistice moderne folosesc variante mai fine ale ReLU, cu nume precum GELU sau SwiGLU, care au dat rezultate puțin mai bune în practică.
Pe înțelesul tuturor
Funcția de activare este ca un robinet cu prag: sub un anumit nivel nu lasă nimic să treacă, peste el lasă apa să curgă. Fără robinete, toate țevile ar fi doar un furtun lung care face mereu același lucru.
Exemplu
ReLU: un neuron care calculează -3 trimite mai departe 0; unul care calculează 2,5 trimite 2,5. Softmax: un model care recunoaște animale dă scorurile 2 pentru „pisică”, 1 pentru „câine” și 0 pentru „iepure”. După softmax, acestea devin aproximativ 67%, 24% și 9%, deci modelul spune „pisică”, cu 67% încredere.
De reținut
- Funcția de activare introduce neliniaritatea fără de care rețelele adânci nu ar fi mai puternice decât un model simplu.
- ReLU și variantele ei sunt cele mai folosite în straturile ascunse.
- Softmax transformă scorurile finale în probabilități.
Nu confunda
- „Activare” nu înseamnă pornirea modelului: termenul descrie valoarea de ieșire a unui neuron, nu faptul că modelul este folosit.
Termeni înrudiți
- Neuron artificial: Cea mai mică unitate de calcul dintr-o rețea neuronală: adună intrările ponderate și decide ce valoare transmite mai departe.
- Strat (layer): Un nivel dintr-o rețea neuronală: un grup de neuroni care primesc datele de la nivelul anterior, le transformă și le dau mai departe.
- Rețea neuronală: Model de AI format din mulți neuroni artificiali legați între ei, care învață din exemple ajustând puterea legăturilor.
- Backpropagation: Metoda prin care o rețea neuronală află cât a contribuit fiecare pondere la eroare, ca să știe cum să le corecteze.
- Deep learning (învățare profundă): Tip de machine learning bazat pe rețele neuronale cu multe straturi; stă în spatele chatboților, traducerilor și recunoașterii imaginilor.