Ce înseamnă NPU (procesor neural)
Un NPU (Neural Processing Unit) este un accelerator pentru inteligență artificială integrat de obicei în același cip cu procesorul principal al unui telefon, tabletă sau laptop. Rolul lui: să ruleze modele AI direct pe dispozitiv, fără să consume bateria cum ar face-o procesorul principal sau placa video.
Apple a introdus un astfel de bloc, numit Neural Engine, în cipul iPhone-urilor din 2017; Qualcomm, Samsung, Google, Intel și AMD au și ele NPU-uri în procesoarele lor. Microsoft cere un NPU de minimum 40 TOPS pentru laptopurile din categoria „Copilot+ PC”.
Cum funcționează
NPU-ul este optimizat pentru operațiile de bază ale rețelelor neuronale (înmulțiri și adunări de matrice), de obicei cu numere de precizie redusă (8 biți sau mai puțin), ceea ce economisește energie. Performanța lui se exprimă des în TOPS (trillions of operations per second, mii de miliarde de operații pe secundă).
Pentru a rula pe NPU, modelele trebuie de obicei să fie mici și cuantizate. Sistemul de operare și aplicațiile decid ce sarcină AI merge pe NPU, ce merge pe placa video și ce se trimite în cloud.
Pe înțelesul tuturor
Un NPU este ca un calculator de buzunar specializat lângă un contabil: contabilul (procesorul principal) poate face și el socotelile, dar calculatorul le face mai repede și fără să obosească.
Exemplu
Când telefonul îți estompează fundalul într-un apel video, recunoaște fețele din galerie sau transcrie o înregistrare fără internet, de cele mai multe ori lucrează NPU-ul. Pozele tale nu pleacă pe un server, iar bateria se consumă mai puțin decât dacă aceeași sarcină ar rula pe procesorul principal.
De reținut
- NPU-ul accelerează AI direct pe dispozitiv, cu consum mic de energie.
- Performanța se măsoară în TOPS, dar cifrele dintre producători nu sunt întotdeauna comparabile direct.
- Permite funcții AI care merg fără internet și păstrează datele pe dispozitiv.
Nu confunda
- NPU vs. GPU: GPU-ul este mai puternic și mai versatil, dar consumă mai mult; NPU-ul este mai mic și mai eficient, gândit pentru modele mici care rulează des.
Termeni înrudiți
- Edge AI (AI pe dispozitiv): Rularea modelelor AI direct pe telefon, laptop, cameră sau mașină, fără a trimite datele la un server din cloud.
- GPU (pentru AI): Procesorul plăcii video, cu mii de nuclee care fac calcule în paralel; a devenit motorul principal al antrenării și rulării modelelor AI.
- TPU: Cip creat de Google special pentru calculele rețelelor neuronale, folosit în centrele sale de date și oferit prin Google Cloud.
- Latență (în AI): Timpul care trece de la trimiterea unei cereri către un model AI până la primirea răspunsului.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- SLM (model lingvistic mic): Model de limbaj compact, cu relativ puțini parametri, care poate rula rapid și ieftin pe un laptop, pe telefon sau pe un server mic.