Ce înseamnă Temperatură (în AI)
Temperatura este un parametru care controlează cât de mult „risc” își asumă un model de limbaj când alege următorul token. La o temperatură mică, modelul alege aproape întotdeauna varianta cea mai probabilă, iar răspunsurile sunt previzibile și consecvente. La o temperatură mare, alege mai des variante mai puțin probabile, iar răspunsurile devin mai variate și mai surprinzătoare, dar și mai predispuse la greșeli.
În aplicațiile de chat obișnuite, temperatura este fixată de dezvoltator. O poți controla direct când folosești modelele prin API sau în interfețele pentru dezvoltatori, unde apare de obicei ca un număr între 0 și 1 sau între 0 și 2, în funcție de furnizor.
Numele vine din fizică: în formula folosită, temperatura joacă un rol asemănător celui din termodinamică, unde o temperatură mare înseamnă mai multă agitație și dezordine.
Cum funcționează
La fiecare pas, modelul calculează o probabilitate pentru fiecare token posibil. Temperatura modifică aceste probabilități înainte de alegere: o valoare sub 1 accentuează diferențele (favoritul devine și mai favorit), iar una peste 1 le estompează (variantele mai puțin probabile primesc mai multe șanse). La temperatura 0, modelul alege practic mereu tokenul cel mai probabil.
Chiar și la temperatura 0, răspunsurile nu sunt garantat identice de fiecare dată, din cauza unor detalii tehnice ale calculului pe servere. Temperatura se folosește adesea împreună cu top-p.
Pe înțelesul tuturor
Temperatura seamănă cu un buton de „îndrăzneală” al unui bucătar: la valoare mică, gătește rețeta clasică, la fel de fiecare dată; la valoare mare, experimentează cu ingrediente neobișnuite, care uneori ies excelent, alteori nu.
Exemplu
O firmă care extrage automat date din facturi folosește temperatura 0, pentru că vrea mereu același răspuns, exact. O agenție de publicitate care cere idei de slogane pentru o campanie de vară pe litoral folosește o temperatură mai mare, ca să primească variante cât mai diferite între ele.
De reținut
- Temperatura mică dă răspunsuri sigure și consecvente; cea mare, răspunsuri variate și creative.
- Pentru extragere de date, cod sau fapte se folosește de obicei o temperatură mică.
- O temperatură mare crește și riscul de greșeli și de text incoerent.
Nu confunda
- Temperatură vs. top-p: temperatura schimbă forma probabilităților; top-p decide câte variante rămân în cursă. Ambele controlează varietatea răspunsurilor.
- Temperatură vs. creativitate reală: o temperatură mare adaugă variație aleatoare, nu face modelul mai inteligent sau mai original în sens uman.
Termeni înrudiți
- Top-p (nucleus sampling): Setare care limitează alegerea următorului token la cele mai probabile variante, care împreună adună probabilitatea p (de exemplu 90%).
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Token: Bucata de text (cuvânt, parte de cuvânt sau semn) cu care lucrează un model de limbaj; limitele și costurile se măsoară în tokeni.
- Halucinație AI: Răspuns generat de AI care sună convingător, dar este fals sau inventat: fapte, cifre, citate sau surse care nu există.
- API (pentru modele AI): Interfața prin care programele trimit cereri unui model AI găzduit de un furnizor și primesc răspunsuri, fără să ruleze ele însele modelul.