Ce înseamnă TPU
Un TPU (Tensor Processing Unit) este un cip proiectat de Google exclusiv pentru machine learning. Spre deosebire de un GPU, care este un procesor relativ general, TPU-ul este un ASIC, adică un circuit construit pentru un singur tip de sarcină: înmulțirile de matrice din rețelele neuronale.
Google l-a anunțat public în 2016, după ce îl folosea deja intern în centrele de date. TPU-urile alimentează servicii Google precum Căutarea, Traducere și Foto și au fost folosite la antrenarea modelelor Gemini. Nu se cumpără ca plăci separate pentru calculatorul de acasă; se închiriază prin Google Cloud.
Cum funcționează
Inima unui TPU este o rețea mare de unități de calcul aranjate ca o grilă (systolic array), prin care numerele „curg” de la o unitate la alta, fiecare făcând o înmulțire și o adunare. Datele nu trebuie aduse din memorie la fiecare pas, ceea ce economisește timp și energie.
TPU-urile sunt legate în grupuri mari, numite pod-uri, cu conexiuni foarte rapide între cipuri, astfel încât mii de TPU-uri să lucreze împreună la antrenarea unui singur model.
Pe înțelesul tuturor
Dacă un GPU este un atelier bine dotat în care poți face multe lucruri, un TPU este o linie de producție construită pentru un singur produs: nu e versatilă, dar pentru acel produs este foarte eficientă.
Exemplu
O universitate sau un startup care antrenează un model mare poate închiria TPU-uri în Google Cloud în loc să cumpere hardware. Codul scris în JAX, TensorFlow sau PyTorch (prin extensii dedicate) poate rula pe TPU, deși unele programe gândite pentru GPU-uri NVIDIA trebuie adaptate.
De reținut
- TPU-ul este un cip specializat de la Google, optimizat pentru rețele neuronale.
- Este disponibil mai ales prin Google Cloud, nu ca produs de consum.
- Este o alternativă la GPU-uri pentru antrenarea și rularea modelelor mari.
Nu confunda
- TPU vs. NPU: TPU-urile sunt cipuri mari pentru centrele de date Google; NPU-urile sunt acceleratoare mici, integrate în telefoane și laptopuri.
Termeni înrudiți
- GPU (pentru AI): Procesorul plăcii video, cu mii de nuclee care fac calcule în paralel; a devenit motorul principal al antrenării și rulării modelelor AI.
- NPU (procesor neural): Componentă dintr-un telefon sau laptop specializată pe calcule AI, care rulează modele local, rapid și cu consum mic de energie.
- Putere de calcul (compute): Cantitatea de calcule pe care o poate face hardware-ul; în AI, una dintre resursele de bază, alături de date și algoritmi.
- Google DeepMind: Laboratorul de AI al Google, creator al AlphaGo, AlphaFold și al modelelor Gemini, format în 2023 din DeepMind și Google Brain.
- Gemini: Familia de modele AI multimodale dezvoltată de Google DeepMind și asistentul Google care le folosește, fostul Bard.
- TensorFlow: Bibliotecă open source creată de Google pentru construirea, antrenarea și rularea modelelor de machine learning.