Ce înseamnă Halucinațiile în LLM
Un LLM generează textul cel mai plauzibil, nu verifică singur dacă este adevărat. Când nu are informația, poate produce fapte, citate, legi sau referințe care nu există, formulate convingător.
Kalai et al. (OpenAI, 2025) explică două cauze: în pre-antrenare, erorile apar din presiuni statistice naturale atunci când afirmațiile false nu pot fi deosebite de fapte; după aceea, halucinațiile persistă pentru că majoritatea testelor recompensează ghicitul în locul recunoașterii incertitudinii.
Cum funcționează
Documentația Anthropic recomandă: permite-i explicit modelului să spună „nu știu”, cere-i să extragă citate exacte din documente înainte de analiză și cere-i să citeze o sursă pentru fiecare afirmație, retrăgând-o pe cea fără sursă.
Sistemele RAG reduc problema prin furnizarea documentelor relevante în context, dar nu o elimină: modelul poate interpreta greșit sau ignora documentele.
Pe înțelesul tuturor
Un elev care nu știe răspunsul la un test cu punctaj doar pentru răspunsuri corecte câștigă mai mult dacă ghicește decât dacă scrie „nu știu”. Kalai et al. folosesc chiar această comparație.
Exemplu
Cazuri juridice sau articole de lege inventate într-o pledoarie.
Package hallucination: Spracklen et al. (2024) au analizat 16 modele de generare de cod și au găsit recomandări de pachete Python și JavaScript care nu există; un atacator poate publica un pachet cu numele inventat.
De reținut
- Halucinațiile nu dispar la temperatura 0: modelul poate alege determinist un răspuns greșit.
- Verifică întotdeauna sursele, numele de pachete și citatele generate.
Nu confunda
- Halucinație vs. informație depășită: un fapt corect la data antrenării, dar schimbat ulterior, ține de limita de cunoștințe a modelului, nu de inventare.
Termeni înrudiți
- Temperatura în Generare: Parametrul care ascute sau aplatizează distribuția de probabilitate a tokenilor: valori mici dau răspunsuri mai previzibile, valori mari mai variate.
- Overfitting și Memorare în LLM: Două probleme înrudite: overfitting-ul (performanță bună pe datele de antrenare, slabă pe date noi) și memorarea (reproducerea exactă a unor texte din antrenare).
- Sicofanția (Sycophancy în AI): Tendința unui asistent AI de a-i da dreptate utilizatorului sau de a-și schimba răspunsul corect când utilizatorul insistă.
- Fenomenul Lost in the Middle: Modelele găsesc și folosesc mai bine informația aflată la începutul sau la sfârșitul unui context lung decât pe cea din mijloc.