Ce înseamnă Halucinație AI
O halucinație apare când un model AI produce informații false sau inventate și le prezintă ca adevărate: o carte care nu există, un articol de lege greșit, o statistică inventată, un citat pe care nu l-a rostit nimeni. Problema este că textul sună la fel de sigur și de fluent ca un răspuns corect.
Un caz celebru a avut loc în 2023, în SUA: în procesul Mata contra Avianca, doi avocați au depus la instanță un document în care citau hotărâri judecătorești inexistente, inventate de ChatGPT. Avocații au fost sancționați de judecător.
Unii cercetători preferă termenul confabulație, pentru că modelul nu „vede” ceva inexistent, ci umple golurile cu ceva plauzibil. Halucinațiile au devenit mai rare la modelele noi, dar nu au dispărut.
Cum funcționează
Un LLM nu caută răspunsul într-o bază de date cu fapte, ci generează textul cel mai probabil, token cu token, pe baza tiparelor învățate. Când nu „știe” ceva, nu are un mecanism sigur prin care să-și dea seama, așa că poate genera ceva care doar arată ca un răspuns bun. Antrenarea poate chiar încuraja ghicitul, dacă un răspuns sigur pe sine e recompensat mai des decât un „nu știu”.
Riscul crește la întrebări despre lucruri rare, recente sau foarte precise (nume, date, cifre, referințe). Scade dacă modelul are acces la surse (căutare pe internet, RAG) și dacă îi ceri explicit să spună când nu știe și să-și indice sursele.
Pe înțelesul tuturor
Un model care halucinează seamănă cu un elev scos la tablă la o lecție pe care n-a învățat-o și care nu vrea să recunoască: vorbește fluent, cu termeni potriviți și ton sigur, iar o parte din ce spune este pur și simplu inventată.
Exemplu
Un student îi cere unui chatbot cinci surse bibliografice despre istoria Bucovinei. Primește cinci titluri, cu autori, ani și edituri. Trei există, dar două sunt inventate: autori reali, titluri plauzibile, cărți care nu au fost scrise niciodată. Studentul le caută în catalogul bibliotecii înainte să le treacă în lucrare.
De reținut
- O halucinație este un răspuns fals spus cu aceeași siguranță ca unul corect.
- Apare din felul în care funcționează LLM-urile: generează text probabil, nu verifică fapte.
- Verifică întotdeauna cifrele, citatele, sursele și informațiile importante.
Nu confunda
- Halucinație vs. informație depășită: dacă modelul nu cunoaște un eveniment recent din cauza datei limită a datelor de antrenare, este o lipsă de informație; devine halucinație când inventează un răspuns în loc să spună că nu știe.
- Halucinație vs. minciună: modelul nu are intenția de a înșela; produce text plauzibil fără un mecanism sigur de verificare a adevărului.
Termeni înrudiți
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- RAG (generare augmentată prin căutare): Tehnica prin care un model de limbaj caută întâi informații relevante în documente sau pe internet și abia apoi răspunde, pe baza lor.
- Chain of thought (lanț de raționament): Tehnica prin care un model AI scrie pașii intermediari ai raționamentului înainte de răspuns, ceea ce îl ajută la probleme complexe.
- Temperatură (în AI): Setare care controlează cât de previzibile sau de variate sunt răspunsurile unui model: valorile mici dau răspunsuri sigure, cele mari, creative.
- Dezinformare generată cu AI: Informații false create sau răspândite cu ajutorul AI: articole, imagini, voci și video-uri false, produse rapid și în volum mare.
- Explicabilitate (XAI): Capacitatea unui sistem AI de a arăta, pe înțelesul oamenilor, de ce a dat un anumit răspuns sau a luat o anumită decizie.