Ce înseamnă Edge AI (AI pe dispozitiv)
Edge AI înseamnă că modelul AI rulează „la margine” (edge), adică pe dispozitivul unde apar datele, nu într-un centru de date îndepărtat. Exemple: telefonul care recunoaște fața ca să se deblocheze, camera de supraveghere care distinge un om de o pisică, mașina care citește indicatoarele rutiere sau ceasul care detectează un ritm cardiac neregulat.
Avantajele sunt clare: datele rămân pe dispozitiv (confidențialitate mai bună), funcționează fără internet, răspunsul este aproape instantaneu, iar costurile de server lipsesc. Limita principală: dispozitivele au mai puțină memorie și putere decât un centru de date, așa că modelele trebuie să fie mai mici.
Cum funcționează
Modelele sunt micșorate prin cuantizare (numere pe mai puțini biți), distilare (un model mic învață de la unul mare) sau pruning (eliminarea legăturilor puțin importante). Apoi rulează pe acceleratoare dedicate, precum NPU-urile din telefoane și laptopuri.
Multe produse folosesc o abordare hibridă: sarcinile simple și sensibile rulează local, iar cele grele sunt trimise unui model mare din cloud, de obicei cu acordul sau cel puțin cu informarea utilizatorului.
Pe înțelesul tuturor
Diferența dintre a avea un dicționar în buzunar și a suna de fiecare dată un prieten care are o bibliotecă întreagă. Dicționarul e mai mic, dar îl ai imediat, oriunde, fără semnal și fără ca altcineva să afle ce cauți.
Exemplu
Un telefon recent poate transcrie o înregistrare de la o ședință și o poate rezuma direct pe dispozitiv, chiar și în modul avion. O cameră inteligentă de la intrarea într-o fabrică numără câte persoane poartă cască de protecție și trimite la server doar statistica, nu imaginile cu angajații, ceea ce simplifică respectarea GDPR.
De reținut
- Edge AI rulează modelul pe dispozitiv, nu în cloud.
- Avantaje: confidențialitate, funcționare offline, latență mică, cost redus.
- Modelele locale sunt mai mici și, de obicei, mai puțin capabile decât cele din cloud.
Nu confunda
- „Pe dispozitiv” nu înseamnă automat „privat”: o aplicație poate rula modelul local și totuși trimite datele sau rezultatele la server; verifică setările și politica de confidențialitate.
Termeni înrudiți
- NPU (procesor neural): Componentă dintr-un telefon sau laptop specializată pe calcule AI, care rulează modele local, rapid și cu consum mic de energie.
- Latență (în AI): Timpul care trece de la trimiterea unei cereri către un model AI până la primirea răspunsului.
- SLM (model lingvistic mic): Model de limbaj compact, cu relativ puțini parametri, care poate rula rapid și ieftin pe un laptop, pe telefon sau pe un server mic.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- Confidențialitatea datelor în AI: Protejarea informațiilor personale și confidențiale care ajung în sistemele AI, la antrenare sau atunci când le folosim.
- Distilarea modelelor: Tehnica prin care un model mic („elev”) este antrenat să imite un model mare („profesor”), păstrând mare parte din performanță la un cost mult mai mic.