Ce înseamnă Latență (în AI)
Latența este întârzierea dintre momentul în care ceri ceva unui sistem AI și momentul în care primești răspunsul. Pentru un chatbot înseamnă câte secunde aștepți; pentru o mașină cu frânare automată, câte milisecunde trec de la apariția pietonului până la reacție.
La modelele de limbaj se vorbește de două măsuri: timpul până la primul token (TTFT, time to first token), adică după cât timp începe să apară textul, și viteza de generare, exprimată în tokeni pe secundă. De aceea chatboții afișează răspunsul pe măsură ce îl scriu (streaming): ai impresia unei latențe mai mici.
Cum funcționează
Latența depinde de mai mulți factori: mărimea modelului (modelele mari calculează mai mult pentru fiecare token), lungimea promptului (un document lung trebuie „citit” înainte de răspuns), distanța până la server, cât de aglomerat este serviciul și hardware-ul folosit. Modelele de raționament adaugă un timp de „gândire” înainte de răspunsul final.
Latența se reduce prin modele mai mici sau cuantizate, prin rularea pe dispozitiv (edge AI), prin servere mai apropiate și prin refolosirea calculelor pentru prompturi repetate (caching).
Pe înțelesul tuturor
Latența este ca timpul de așteptare la un restaurant: un fast-food îți dă meniul în două minute, un restaurant cu bucătar îți aduce un preparat mai elaborat după douăzeci. Uneori merită să aștepți, alteori ai nevoie de ceva imediat.
Exemplu
Un chatbot începe să răspundă după 0,5 secunde și generează 50 de tokeni pe secundă. Un răspuns de 500 de tokeni este complet după aproximativ 0,5 + 500 ÷ 50 = 10,5 secunde. Pentru un asistent vocal, chiar și o secundă de pauză înainte de răspuns pare nefirească, așa că acolo se aleg modele mai rapide, chiar dacă sunt mai puțin capabile.
De reținut
- Latența = cât aștepți răspunsul; contează mult pentru experiența utilizatorului.
- La LLM-uri se măsoară timpul până la primul token și tokenii pe secundă.
- Modelele mai mari sunt de obicei mai lente, dar mai capabile.
Nu confunda
- Latență vs. throughput: latența este timpul pentru o cerere; throughput-ul este câte cereri (sau tokeni) poate procesa sistemul pe secundă în total. Un server poate avea throughput mare și totuși latență mare pentru fiecare utilizator.
Termeni înrudiți
- Inferență: Folosirea unui model deja antrenat pentru a răspunde la cereri noi; fiecare răspuns al unui chatbot este o inferență.
- Edge AI (AI pe dispozitiv): Rularea modelelor AI direct pe telefon, laptop, cameră sau mașină, fără a trimite datele la un server din cloud.
- GPU (pentru AI): Procesorul plăcii video, cu mii de nuclee care fac calcule în paralel; a devenit motorul principal al antrenării și rulării modelelor AI.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- Token: Bucata de text (cuvânt, parte de cuvânt sau semn) cu care lucrează un model de limbaj; limitele și costurile se măsoară în tokeni.
- Model de raționament: Model de limbaj antrenat să „gândească” pe îndelete, printr-un raționament intern, înainte de a da răspunsul final.