Ce înseamnă Inferență
Inferența este momentul în care un model AI deja antrenat este folosit efectiv: primește o intrare nouă și produce un rezultat. Când scrii o întrebare unui chatbot, când telefonul îți recunoaște fața sau când un filtru decide că un e-mail e spam, are loc o inferență.
În timpul inferenței, parametrii modelului nu se schimbă. Modelul doar face calculele pentru care a fost construit, folosind ce a învățat la antrenare.
O singură inferență este mult mai ieftină decât antrenarea, dar modelele populare răspund la un număr uriaș de cereri, așa că, în total, inferența consumă multă putere de calcul și energie. De aceea companiile investesc în cipuri și tehnici care o fac mai rapidă și mai ieftină, precum cuantizarea sau distilarea.
Cum funcționează
Intrarea este transformată în numere (de exemplu, textul este împărțit în tokeni), trece prin straturile modelului, iar la ieșire rezultă predicția. La un model de limbaj, inferența se face token cu token: modelul alege următorul token, îl adaugă la text și repetă, până termină răspunsul. De aceea vezi textul apărând treptat pe ecran.
Inferența poate rula în cloud, pe serverele companiei care oferă modelul, sau local, pe dispozitivul tău (edge AI). Timpul în care vine răspunsul se numește latență.
Pe înțelesul tuturor
Antrenarea seamănă cu anii de facultate ai unui medic, iar inferența cu fiecare consultație. Studiul se face o dată și durează mult; consultațiile se fac zilnic, repede, aplicând ce s-a învățat.
Exemplu
Când îi ceri unui asistent AI să rezume un contract de închiriere, textul tău e trimis la un server, modelul face inferența în câteva secunde și îți trimite rezumatul. Dacă folosești un model rulat local, de exemplu prin Ollama, aceeași inferență are loc pe placa video a calculatorului tău, iar textul nu pleacă nicăieri.
De reținut
- Inferența este folosirea unui model antrenat, nu învățarea lui.
- Parametrii nu se modifică în timpul inferenței.
- La scară mare, inferența costă mult în total, de aceea contează viteza și eficiența.
Nu confunda
- Inferența în AI vs. în statistică și logică: în statistică, inferența înseamnă a trage concluzii despre o populație pe baza unui eșantion; în AI, cuvântul înseamnă simplu rularea modelului.
- Inferență vs. raționament: orice răspuns al modelului este o inferență, chiar dacă modelul nu „raționează” în sensul uman al cuvântului.
Termeni înrudiți
- Antrenarea unui model: Procesul prin care un model AI învață din date, ajustându-și parametrii pas cu pas, ca să greșească tot mai puțin.
- Model AI: Rezultatul antrenării: o arhitectură plus parametri învățați, care primește date noi și produce răspunsuri, etichete sau conținut.
- Latență (în AI): Timpul care trece de la trimiterea unei cereri către un model AI până la primirea răspunsului.
- Edge AI (AI pe dispozitiv): Rularea modelelor AI direct pe telefon, laptop, cameră sau mașină, fără a trimite datele la un server din cloud.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- Token: Bucata de text (cuvânt, parte de cuvânt sau semn) cu care lucrează un model de limbaj; limitele și costurile se măsoară în tokeni.