Ce înseamnă Putere de calcul (compute)
Puterea de calcul (în jargonul AI, simplu compute) înseamnă câte operații matematice poate efectua un sistem și cât de repede. În AI, termenul se referă mai ales la plăcile grafice (GPU) și la cipurile specializate pe care se antrenează și rulează modelele.
Compute-ul este considerat una dintre cele trei resurse de bază ale AI, alături de date și algoritmi. Progresul din ultimul deceniu s-a datorat în mare parte creșterii uriașe a calculului folosit: cantitatea de calcul pentru antrenarea celor mai mari modele s-a multiplicat de mai multe ori în fiecare an.
Puterea de calcul a devenit o resursă strategică: companiile construiesc centre de date imense, statele discută despre controlul exportului de cipuri avansate, iar consumul de energie al centrelor de date este o temă tot mai importantă.
Cum funcționează
Antrenarea și rularea rețelelor neuronale înseamnă în principal înmulțiri de matrice, adică uriașe cantități de înmulțiri și adunări simple, care pot fi făcute în paralel. Plăcile grafice, create inițial pentru jocuri, sunt foarte bune la acest tip de calcul. Ulterior au apărut și cipuri dedicate AI, precum TPU-urile Google sau NPU-urile din telefoane și laptopuri.
Cantitatea de calcul se măsoară adesea în FLOP (operații cu numere în virgulă mobilă). Antrenarea celor mai mari modele de limbaj cere un număr de operații scris cu peste 25 de cifre, realizate pe mii de GPU-uri care lucrează împreună săptămâni sau luni.
Pe înțelesul tuturor
Dacă datele sunt ingredientele și algoritmul este rețeta, puterea de calcul este bucătăria: aragazele, cuptoarele și numărul de bucătari. Cu o rețetă bună și ingrediente bune, dar cu o singură plită, nu poți găti pentru o nuntă cu o mie de invitați.
Exemplu
Un student care antrenează pe laptop un model mic de recunoaștere a cifrelor scrise de mână termină în câteva minute. Pentru un model de limbaj de vârf, o companie folosește centre de date cu zeci de mii de plăci grafice, care consumă cât un oraș mic. Între cele două se află diferența de putere de calcul.
De reținut
- Compute înseamnă capacitatea de calcul folosită pentru antrenarea și rularea modelelor.
- Datele, algoritmii și puterea de calcul sunt cele trei resurse de bază ale AI.
- Plăcile grafice și cipurile dedicate fac posibile modelele mari, dar consumă multă energie.
Nu confunda
- FLOP vs. FLOPS: FLOP este o cantitate de operații (de exemplu, totalul folosit la o antrenare); FLOPS (operații pe secundă) este o viteză, folosită pentru a descrie un cip sau un supercalculator.
- Calcul pentru antrenare vs. pentru inferență: antrenarea consumă mult într-o perioadă limitată; inferența consumă puțin pentru fiecare cerere, dar continuu, pentru milioane de utilizatori.
Termeni înrudiți
- GPU (pentru AI): Procesorul plăcii video, cu mii de nuclee care fac calcule în paralel; a devenit motorul principal al antrenării și rulării modelelor AI.
- TPU: Cip creat de Google special pentru calculele rețelelor neuronale, folosit în centrele sale de date și oferit prin Google Cloud.
- NPU (procesor neural): Componentă dintr-un telefon sau laptop specializată pe calcule AI, care rulează modele local, rapid și cu consum mic de energie.
- Legile scalării (scaling laws): Observația că modelele AI devin previzibil mai bune când cresc numărul de parametri, datele de antrenare și puterea de calcul.
- Antrenarea unui model: Procesul prin care un model AI învață din date, ajustându-și parametrii pas cu pas, ca să greșească tot mai puțin.
- NVIDIA (în AI): Compania americană ale cărei plăci grafice (GPU) și platformă CUDA au devenit principalul hardware pentru antrenarea și rularea AI.