Ce înseamnă Legile scalării (scaling laws)
Legile scalării sunt relații observate experimental care arată cum se îmbunătățește un model AI pe măsură ce crești trei lucruri: numărul de parametri, cantitatea de date de antrenare și puterea de calcul folosită. Îmbunătățirea nu este întâmplătoare, ci urmează o curbă destul de previzibilă.
Unul dintre cele mai cunoscute studii a fost publicat în 2020 de cercetători de la OpenAI (Jared Kaplan și colegii). În 2022, cercetătorii de la DeepMind au arătat, cu modelul Chinchilla, că multe modele erau prea mari pentru cantitatea de date pe care fuseseră antrenate și că, pentru același buget de calcul, merită să crești datele și parametrii în proporții echilibrate.
Aceste legi au justificat investițiile uriașe din ultimii ani în modele tot mai mari și în centre de date. Ele nu sunt legi ale naturii, precum gravitația, ci tendințe empirice, care pot încetini sau se pot schimba.
Cum funcționează
Cercetătorii antrenează multe modele de mărimi diferite și măsoară eroarea fiecăruia (funcția de pierdere). Pe un grafic cu scară logaritmică, punctele se așază aproape pe o linie dreaptă: de fiecare dată când multiplici resursele cu un anumit factor, eroarea scade într-un ritm aproximativ constant. Asta permite estimarea performanței unui model mare înainte de a-l antrena.
Câștigurile sunt însă descrescătoare: pentru fiecare îmbunătățire nouă e nevoie de mult mai multe resurse. În ultimii ani se vorbește tot mai mult și despre scalarea calculului la inferență: modelele de raționament dau răspunsuri mai bune dacă sunt lăsate să „gândească” mai mult înainte să răspundă.
Pe înțelesul tuturor
E ca pregătirea unui alergător: primele luni de antrenament îi scad mult timpul la 5 km, dar ca să mai câștige câteva secunde când e deja foarte bun, are nevoie de mult mai multe ore de antrenament. Progresul există, dar costă tot mai mult.
Exemplu
Înainte să cheltuiască luni de calcul pe un model nou, o echipă antrenează câteva modele mici și ieftine, de mărimi diferite. Pe baza curbei obținute, estimează ce eroare va avea modelul mare și dacă merită investiția. Așa se decide, de exemplu, câți parametri va avea modelul și pe câte date va fi antrenat.
De reținut
- Mai mulți parametri, mai multe date și mai mult calcul duc, în medie, la modele mai bune, într-un mod previzibil.
- Câștigurile sunt descrescătoare: fiecare pas cere mult mai multe resurse.
- Sunt observații empirice, nu garanții; nu se știe până unde vor continua.
Nu confunda
- Legile scalării vs. legea lui Moore: legea lui Moore descrie dublarea periodică a numărului de tranzistori dintr-un cip; legile scalării descriu cum crește performanța modelelor AI cu resursele folosite.
- Eroare mai mică vs. abilități noi: o eroare mai mică la prezicerea textului nu se traduce automat în orice abilitate dorită; unele abilități par să apară brusc, altele se îmbunătățesc greu.
Termeni înrudiți
- Putere de calcul (compute): Cantitatea de calcule pe care o poate face hardware-ul; în AI, una dintre resursele de bază, alături de date și algoritmi.
- Parametri (ponderi): Numerele învățate de un model în timpul antrenării, în care este stocat tot ce „știe” acesta; modelele mari au miliarde.
- Date de antrenare: Exemplele din care învață un model AI: texte, imagini, sunete sau tabele. Calitatea lor decide în mare măsură calitatea modelului.
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Model de raționament: Model de limbaj antrenat să „gândească” pe îndelete, printr-un raționament intern, înainte de a da răspunsul final.
- AGI (inteligență artificială generală): Un tip ipotetic de AI capabil să învețe și să facă aproape orice sarcină intelectuală pe care o poate face un om.