Nou Generator de prompt AI — scrie prompturi mai bune pentru ChatGPT, Claude și Gemini →

Ce este Mecanism de atenție (attention)?

Tehnica prin care un model decide, pentru fiecare cuvânt, la care alte cuvinte din text să fie atent ca să-i înțeleagă sensul.

Denumire completă

Attention mechanism / self-attention – mecanism de atenție

Ce înseamnă Mecanism de atenție (attention)

Mecanismul de atenție este ideea centrală din arhitectura Transformer, pe care se bazează ChatGPT, Claude, Gemini și aproape toate modelele lingvistice mari. Pe scurt: când modelul procesează un cuvânt, se uită la toate celelalte cuvinte din text și decide cât de mult contează fiecare pentru înțelegerea lui.

Înainte de Transformer, modelele de limbaj erau mai ales rețele recurente (RNN), care citesc textul cuvânt cu cuvânt, în ordine, și „uită” ușor ce fusese la început. Atenția a apărut în 2014, într-o lucrare despre traducerea automată a lui Dzmitry Bahdanau, Kyunghyun Cho și Yoshua Bengio, ca adaos la aceste rețele: pentru fiecare cuvânt tradus, modelul „căuta” părțile relevante din fraza originală. Lucrarea care a lansat Transformer-ul, publicată de cercetători Google în 2017 sub titlul „Attention Is All You Need”, a renunțat complet la recurență și a păstrat doar atenția, care leagă direct oricare două cuvinte, oricât de departe ar fi unul de altul.

Cum funcționează

Fiecare cuvânt (mai exact, fiecare token) este transformat în trei vectori: o întrebare (query, „ce caut?”), o cheie (key, „ce ofer?”) și o valoare (value, „informația mea”). Modelul compară întrebarea unui cuvânt cu cheile tuturor celorlalte și obține niște scoruri de potrivire, transformate apoi în procente care însumează 100%.

Noua reprezentare a cuvântului este o medie a valorilor celorlalte cuvinte, ponderată cu aceste procente. Modelele folosesc mai multe „capete” de atenție în paralel (multi-head attention): fiecare cap învață alte relații. Lucrarea originală arată capete care par să urmărească structura propoziției și altele care leagă un pronume de cuvântul la care se referă.

Costul crește rapid cu lungimea textului: dacă textul are de două ori mai mulți tokeni, numărul de comparații crește de aproximativ patru ori. De aceea fereastra de context lungă este scumpă.

Pe înțelesul tuturor

Când citești „Ion i-a dat lui Mihai cartea pentru că el o terminase”, mintea ta se întoarce automat la „Ion” ca să înțeleagă cine este „el”. Mecanismul de atenție face exact asta, pentru fiecare cuvânt, cu toate cuvintele din jur.

Exemplu

În fraza „Valiza nu a încăput în portbagaj pentru că era prea mare”, cuvântul „era” se referă la valiză. Dacă înlocuim „mare” cu „mic”, „era” se referă la portbagaj. Un model cu atenție poate rezolva corect ambele cazuri: când procesează „era”, acordă o pondere mare cuvântului potrivit, în funcție de restul frazei.

De reținut

  • Atenția permite fiecărui cuvânt să „consulte” toate celelalte cuvinte din context.
  • Este motorul arhitecturii Transformer și al modelelor lingvistice mari.
  • Costul de calcul crește aproximativ cu pătratul lungimii textului.

Nu confunda

  • Atenția modelului nu este atenție umană: nu înseamnă concentrare sau conștiință, ci un calcul de ponderi între vectori.

Termeni înrudiți

  • Transformer: Arhitectura de rețea neuronală, prezentată de Google în 2017, pe care sunt construite aproape toate modelele de limbaj actuale.
  • LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
  • Fereastră de context: Cantitatea maximă de text, măsurată în tokeni, pe care un model o ia în calcul deodată: instrucțiuni, conversație, documente și răspuns.
  • RNN și LSTM: Rețele care procesează date în ordine, pas cu pas, păstrând o memorie a ce au văzut înainte; LSTM este varianta care ține minte mai bine.
  • Embedding: Transformarea unui text, a unei imagini sau a unui sunet într-o listă de numere care îi surprinde sensul; lucrurile asemănătoare ajung apropiate.
  • Token: Bucata de text (cuvânt, parte de cuvânt sau semn) cu care lucrează un model de limbaj; limitele și costurile se măsoară în tokeni.
Învață AI • Comunitate & Q&A

Întrebări & Discuții: Mecanism de atenție (attention)

Ai o întrebare despre Mecanism de atenție (attention) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.