Ce înseamnă GPU (pentru AI)
Un GPU (Graphics Processing Unit) a fost creat pentru jocuri și grafică: calculează culoarea a milioane de pixeli în același timp. S-a dovedit că exact acest tip de calcul, multe operații simple în paralel, este ce le trebuie rețelelor neuronale, care fac în principal înmulțiri uriașe de matrice.
Momentul de cotitură a fost 2012, când rețeaua AlexNet a fost antrenată pe două plăci video NVIDIA de gaming și a câștigat concursul ImageNet. De atunci, GPU-urile au devenit resursa principală pentru AI, iar NVIDIA a ajuns furnizorul dominant; AMD și Intel produc și ele GPU-uri pentru AI.
Cum funcționează
Un procesor obișnuit (CPU) are puține nuclee foarte puternice, bune la sarcini variate, executate pe rând. Un GPU are mii de nuclee mai simple, care fac același tip de calcul simultan. Pentru o înmulțire de matrice cu milioane de elemente, diferența de viteză este uriașă.
La fel de importantă este memoria plăcii video (VRAM): modelul trebuie să încapă în ea. Un model cu 7 miliarde de parametri, stocați pe 16 biți (2 octeți fiecare), are nevoie de circa 14 GB doar pentru ponderi. De aceea cuantizarea, care reduce numărul de biți, permite rularea modelelor pe plăci video de acasă.
Pe înțelesul tuturor
Un CPU este ca un profesor de matematică genial care rezolvă orice problemă, dar una câte una. Un GPU este ca o sală cu o mie de elevi care fac fiecare câte o adunare simplă în același timp. Pentru zece milioane de adunări, sala câștigă detașat.
Exemplu
Un pasionat care vrea să ruleze local un model de limbaj open source pe calculatorul de acasă se uită în primul rând la memoria plăcii video. Cu o placă de 12 GB, un model de 7 miliarde de parametri nu încape la 16 biți (14 GB), dar încape cuantizat pe 4 biți (aproximativ 4 GB), cu prețul unei mici pierderi de calitate.
De reținut
- GPU-urile sunt rapide pentru AI pentru că fac mii de calcule simple în paralel.
- Memoria plăcii video (VRAM) decide ce mărime de model poți rula.
- Centrele de date folosite pentru AI au mii sau zeci de mii de GPU-uri specializate.
Nu confunda
- GPU vs. placă video: GPU-ul este cipul; placa video este componenta completă, cu GPU, memorie și răcire. În centrele de date, GPU-urile pentru AI nici nu mai au ieșiri pentru monitor.
Termeni înrudiți
- CUDA: Platforma NVIDIA care permite programelor să folosească plăcile video pentru calcule generale, inclusiv antrenarea și rularea modelelor AI.
- TPU: Cip creat de Google special pentru calculele rețelelor neuronale, folosit în centrele sale de date și oferit prin Google Cloud.
- NPU (procesor neural): Componentă dintr-un telefon sau laptop specializată pe calcule AI, care rulează modele local, rapid și cu consum mic de energie.
- NVIDIA (în AI): Compania americană ale cărei plăci grafice (GPU) și platformă CUDA au devenit principalul hardware pentru antrenarea și rularea AI.
- Putere de calcul (compute): Cantitatea de calcule pe care o poate face hardware-ul; în AI, una dintre resursele de bază, alături de date și algoritmi.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.