Ce înseamnă Parametri (ponderi)
Parametrii unui model AI sunt numerele pe care modelul le ajustează în timpul antrenării. Într-o rețea neuronală, cei mai mulți parametri sunt ponderi (în engleză weights), adică puterea conexiunilor dintre neuroni, la care se adaugă valorile de bias.
Tot ce „știe” un model, de la gramatica limbii române la faptul că Bucureștiul este capitala României, nu este stocat ca text sau ca listă de fapte, ci este răspândit în aceste numere. Nu poți deschide fișierul modelului și găsi propoziția „Bucureștiul este capitala României”.
Numărul de parametri este o măsură aproximativă a mărimii unui model. GPT-3, prezentat în 2020, avea 175 de miliarde de parametri. Modelele sunt descrise adesea prin sufixe precum „7B” sau „70B”, adică 7 sau 70 de miliarde (în engleză billion) de parametri.
Cum funcționează
La începutul antrenării, parametrii au valori aleatoare. La fiecare pas, algoritmul de antrenare calculează în ce direcție trebuie mutat fiecare parametru ca eroarea să scadă și îl modifică foarte puțin. După antrenare, valorile rămân fixe și sunt salvate într-un fișier, numit adesea chiar „fișierul cu ponderi”.
Mărimea fișierului depinde de numărul de parametri și de precizia cu care este stocat fiecare. La 16 biți (2 octeți) pe parametru, un model de 7 miliarde de parametri ocupă circa 14 GB; prin cuantizare la 4 biți, ajunge la aproximativ 4 GB.
Pe înțelesul tuturor
Parametrii seamănă cu miile de butoane ale unei mese de mixaj, fiecare reglat într-o poziție precisă. Niciun buton nu „conține” melodia, dar împreună, în pozițiile lor, produc sunetul dorit. Dacă le muți la întâmplare, iese zgomot.
Exemplu
Când vezi pe Hugging Face un model numit, de exemplu, „Llama 3 8B”, cifra 8B îți spune că are aproximativ 8 miliarde de parametri. Pe un laptop obișnuit, un astfel de model rulează de regulă în variantă cuantizată, iar modelele cu sute de miliarde de parametri au nevoie de servere cu mai multe plăci grafice.
De reținut
- Parametrii sunt numerele învățate; ponderile sunt cel mai important tip de parametri.
- Mai mulți parametri înseamnă de obicei un model mai capabil, dar și mai scump de rulat; nu este o garanție de calitate.
- „7B” înseamnă 7 miliarde de parametri.
Nu confunda
- Parametri vs. hiperparametri: parametrii sunt învățați din date; hiperparametrii (de exemplu rata de învățare sau numărul de straturi) sunt aleși de oameni înainte de antrenare.
- Parametri vs. tokeni: parametrii măsoară mărimea modelului; tokenii măsoară cantitatea de text, fie din datele de antrenare, fie dintr-o conversație.
Termeni înrudiți
- Model AI: Rezultatul antrenării: o arhitectură plus parametri învățați, care primește date noi și produce răspunsuri, etichete sau conținut.
- Neuron artificial: Cea mai mică unitate de calcul dintr-o rețea neuronală: adună intrările ponderate și decide ce valoare transmite mai departe.
- Hiperparametri: Setările alese de om înainte de antrenare (rată de învățare, număr de epoci, mărimea rețelei), care nu sunt învățate din date.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- Legile scalării (scaling laws): Observația că modelele AI devin previzibil mai bune când cresc numărul de parametri, datele de antrenare și puterea de calcul.
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.