Nou Generator de prompt AI — scrie prompturi mai bune pentru ChatGPT, Claude și Gemini →

Ce este Auto-Atenția (Self-Attention)?

Inima Transformerului: mecanismul matematic care permite modelului să decidă ce alte cuvinte contează pentru a înțelege un anumit cuvânt în context.

Denumire completă

Self-Attention – mecanism prin care fiecare cuvânt dintr-o frază își evaluează relevanța în raport cu toate celelalte cuvinte

Ce este

În limba naturală, sensul unui cuvânt depinde critic de context. În fraza ‘Banca a aprobat creditul’ versus ‘S-a așezat pe o bancă în parc’, cuvântul ‘bancă’ are semnificații complet diferite.

Mecanismul de Auto-Atenție (Self-Attention) calculează o matrice de scoruri de atenție între fiecare pereche de cuvinte, permițând modelului să rezolve ambiguitățile, să lege pronumele de substantivele corecte și să capteze nuanțele semantice.

Analogia din viața reală

Când citești o carte polițistă și întâlnești propoziția: ‘Detectivul l-a privit pe suspect când el a scăpat arma’, ochii tăi fac instantaneu legătura între cuvântul ‘el’ și ‘suspect’, nu cu ‘detectivul’. Auto-atenția este exact această privire retrospectivă automată pe care o face creierul tău.

Cum funcționează tehnic

Fiecare token este transformat în trei vectori: Query (Q) (ce caută acest cuvânt), Key (K) (ce etichetă oferă acest cuvânt) și Value (V) (conținutul semantic efectiv al cuvântului).

Scorul de atenție se calculează prin produs scalar între Q și K, scalat cu radicalul dimensiunii vectorilor, urmat de o funcție Softmax: Attention(Q, K, V) = softmax(Q · K^T / √d_k) · V.

Exemple practice și aplicații

  • Rezolvarea pronumelor: În ‘Animalul nu a trecut strada pentru că era prea obosit’, atenția leagă ‘era obosit’ de ‘animal’, nu de ‘stradă’.
  • Corelarea dependențelor lungi: Înțelegerea subiectului chiar și atunci când între el și predicat există trei propoziții subordonate.

Greșeli frecvente sau mituri

Atenția nu înseamnă atenție umană conștientă, ci o ponderare de probabilitate (numere între 0 și 1) care dictează cât de mult contribuie vectorul unui cuvânt la reprezentarea altuia.

Termeni înrudiți

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Auto-Atenția (Self-Attention)

Ai o întrebare despre Auto-Atenția (Self-Attention) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.