Ce înseamnă Strat (layer)
O rețea neuronală este construită din straturi (în engleză layers) așezate unul după altul. Fiecare strat conține mai mulți neuroni artificiali, primește numere de la stratul dinainte, face un calcul și trimite rezultatul stratului următor.
Există trei tipuri principale: stratul de intrare (primește datele brute, de exemplu pixelii unei imagini), straturile ascunse (fac transformările intermediare) și stratul de ieșire (dă răspunsul, de exemplu probabilitatea pentru fiecare categorie). „Deep” din „deep learning” se referă tocmai la numărul mare de straturi ascunse.
Cum funcționează
Într-un strat complet conectat (dense), fiecare neuron primește toate valorile din stratul anterior, le înmulțește cu niște ponderi, le adună, adaugă o valoare numită bias și aplică o funcție de activare. Ponderile și bias-urile sunt parametrii învățați la antrenare.
Există și straturi specializate: convoluționale (pentru imagini), de atenție (în Transformer), de normalizare sau de dropout. Modelele lingvistice mari au zeci sau peste o sută de blocuri de straturi.
Pe înțelesul tuturor
Straturile sunt ca stațiile unei linii de producție: prima primește materia primă, fiecare stație o prelucrează puțin, iar ultima scoate produsul finit. Nicio stație nu face totul; rezultatul vine din succesiunea lor.
Exemplu
O rețea simplă care recunoaște cifre scrise de mână în imagini de 28×28 pixeli are un strat de intrare cu 784 de valori (28 × 28), un strat ascuns cu 128 de neuroni și un strat de ieșire cu 10 neuroni, câte unul pentru fiecare cifră de la 0 la 9. Doar legăturile dintre intrare și stratul ascuns înseamnă 784 × 128 + 128 = 100.480 de parametri; întreaga rețea are 101.770.
De reținut
- O rețea are un strat de intrare, unul sau mai multe straturi ascunse și un strat de ieșire.
- Fiecare strat transformă datele puțin, iar straturile succesive construiesc concepte tot mai abstracte.
- Numărul de straturi și de neuroni pe strat sunt hiperparametri aleși de om.
Nu confunda
- Strat vs. parametru: un strat este o componentă a rețelei; parametrii sunt numerele (ponderile) din interiorul straturilor, care se ajustează la antrenare.
Termeni înrudiți
- Rețea neuronală: Model de AI format din mulți neuroni artificiali legați între ei, care învață din exemple ajustând puterea legăturilor.
- Neuron artificial: Cea mai mică unitate de calcul dintr-o rețea neuronală: adună intrările ponderate și decide ce valoare transmite mai departe.
- Deep learning (învățare profundă): Tip de machine learning bazat pe rețele neuronale cu multe straturi; stă în spatele chatboților, traducerilor și recunoașterii imaginilor.
- Funcție de activare: Regula matematică prin care un neuron artificial decide ce valoare trimite mai departe, permițând rețelei să învețe tipare complexe.
- Parametri (ponderi): Numerele învățate de un model în timpul antrenării, în care este stocat tot ce „știe” acesta; modelele mari au miliarde.