Ce este Mecanism de atenție (attention)?

Ce înseamnă Mecanism de atenție (attention)

Mecanismul de atenție este ideea centrală din arhitectura Transformer, pe care se bazează ChatGPT, Claude, Gemini și aproape toate modelele lingvistice mari. Pe scurt: când modelul procesează un cuvânt, se uită la toate celelalte cuvinte din text și decide cât de mult contează fiecare pentru înțelegerea lui.

Înainte de atenție, modelele citeau textul cuvânt cu cuvânt, în ordine, și „uitau” ușor ce fusese la început. Atenția permite legături directe între oricare două cuvinte, oricât de departe ar fi unul de altul. Lucrarea care a lansat Transformer-ul, publicată de cercetători Google în 2017, se numea chiar „Attention Is All You Need”.

Cum funcționează

Fiecare cuvânt (mai exact, fiecare token) este transformat în trei vectori: o întrebare (query, „ce caut?”), o cheie (key, „ce ofer?”) și o valoare (value, „informația mea”). Modelul compară întrebarea unui cuvânt cu cheile tuturor celorlalte și obține niște scoruri de potrivire, transformate apoi în procente care însumează 100%.

Noua reprezentare a cuvântului este o medie a valorilor celorlalte cuvinte, ponderată cu aceste procente. Modelele folosesc mai multe „capete” de atenție în paralel (multi-head attention): unul poate urmări gramatica, altul la cine se referă un pronume, altul tonul frazei.

Costul crește rapid cu lungimea textului: dacă textul are de două ori mai mulți tokeni, numărul de comparații crește de aproximativ patru ori. De aceea fereastra de context lungă este scumpă.

Pe înțelesul tuturor

Când citești „Ion i-a dat lui Mihai cartea pentru că el o terminase”, mintea ta se întoarce automat la „Ion” ca să înțeleagă cine este „el”. Mecanismul de atenție face exact asta, pentru fiecare cuvânt, cu toate cuvintele din jur.

Exemplu

În fraza „Valiza nu a încăput în portbagaj pentru că era prea mare”, cuvântul „era” se referă la valiză. Dacă înlocuim „mare” cu „mic”, „era” se referă la portbagaj. Un model cu atenție poate rezolva corect ambele cazuri: când procesează „era”, acordă o pondere mare cuvântului potrivit, în funcție de restul frazei.

De reținut

• Atenția permite fiecărui cuvânt să „consulte” toate celelalte cuvinte din context.
• Este motorul arhitecturii Transformer și al modelelor lingvistice mari.
• Costul de calcul crește aproximativ cu pătratul lungimii textului.

Nu confunda

• Atenția modelului nu este atenție umană: nu înseamnă concentrare sau conștiință, ci un calcul de ponderi între vectori.

Termeni înrudiți

• Transformer: Arhitectura de rețea neuronală, prezentată de Google în 2017, pe care sunt construite aproape toate modelele de limbaj actuale.
• LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
• Fereastră de context: Cantitatea maximă de text, măsurată în tokeni, pe care un model o ia în calcul deodată: instrucțiuni, conversație, documente și răspuns.
• RNN și LSTM: Rețele care procesează date în ordine, pas cu pas, păstrând o memorie a ce au văzut înainte; LSTM este varianta care ține minte mai bine.
• Embedding: Transformarea unui text, a unei imagini sau a unui sunet într-o listă de numere care îi surprinde sensul; lucrurile asemănătoare ajung apropiate.
• Token: Bucata de text (cuvânt, parte de cuvânt sau semn) cu care lucrează un model de limbaj; limitele și costurile se măsoară în tokeni.