Ce este Legile de scalare (Scaling Laws)?

Ce înseamnă Legile de scalare (Scaling Laws)

Legile de scalare sunt relații empirice: pierderea (cross-entropy) unui model de limbaj scade previzibil când crești numărul de parametri, cantitatea de date de antrenare și calculul folosit. Kaplan et al. (OpenAI, 2020) au arătat că pierderea urmează o lege de putere în fiecare dintre aceste mărimi, pe intervale de peste șapte ordine de mărime.

Legile sunt folosite pentru a decide, înainte de o antrenare scumpă, cât de mare să fie modelul și pe câți tokeni să fie antrenat pentru un buget de calcul dat.

Cum funcționează

Cercetătorii antrenează multe modele mici, măsoară pierderea fiecăruia și potrivesc o curbă. Curba se extrapolează apoi la modele mai mari.

Kaplan et al. (2020) au concluzionat că, la buget fix, e mai eficient un model foarte mare antrenat pe relativ puține date. Hoffmann et al. (DeepMind, 2022, lucrarea „Chinchilla”) au antrenat peste 400 de modele și au ajuns la altă concluzie: parametrii și tokenii trebuie crescuți în aceeași proporție; la fiecare dublare a modelului se dublează și datele.

Chinchilla (70 de miliarde de parametri, 1,4 trilioane de tokeni) a folosit același calcul ca Gopher (280 de miliarde de parametri, 300 de miliarde de tokeni) și l-a depășit pe o gamă largă de teste.

Pe înțelesul tuturor

Gândește-te la o bucătărie cu un buget fix: poți angaja mai mulți bucătari sau poți cumpăra mai multe ingrediente. Legile de scalare sunt tabelul care îți spune, din experimente mici, ce combinație dă cea mai bună masă pentru banii pe care îi ai.

Exemplu

Meta a folosit legi de scalare proprii pentru Llama 3: extrapolarea la bugetul de 3,8 × 10²⁵ FLOPs indica un model de 402B antrenat pe 16,55 trilioane de tokeni, iar echipa a ales 405B. Modelele mai mici au fost antrenate „mult mai mult decât optimul de calcul”, pentru că așa dau rezultate mai bune la același cost de inferență (raportul Llama 3, 2024).

De reținut

• Legile de scalare sunt observații empirice, nu legi fizice; ele descriu pierderea, nu direct utilitatea modelului.
• Kaplan (2020) și Chinchilla (2022) dau recomandări diferite pentru împărțirea bugetului între parametri și date.
• Există și o a doua axă: calculul folosit la inferență (test-time scaling).

Nu confunda

• Scalarea la antrenare vs. scalarea la inferență: prima mărește modelul, datele și calculul de antrenare; a doua lasă modelul neschimbat și îi dă mai mult calcul în momentul răspunsului.

Termeni înrudiți

• Pre-antrenarea (Pre-training): Prima etapă de antrenare, în care modelul învață limba și cunoștințe generale prezicând următorul token pe trilioane de tokeni de text.
• Test-Time Scaling & Compute: Îmbunătățirea răspunsurilor unui model prin mai mult calcul în momentul generării: raționamente mai lungi, mai multe încercări sau verificare.
• Mixture of Experts (MoE): Arhitectură în care fiecare token trece doar prin câțiva dintre experții unui strat, deci modelul are mulți parametri în total, dar folosește puțini pentru fiecare token.
• Distilarea modelelor (Knowledge Distillation): Tehnica prin care un model mic învață din răspunsurile sau probabilitățile unui model mare, ca să păstreze o parte din calitate la un cost de rulare mai mic.