Ce este
În limba naturală, sensul unui cuvânt depinde critic de context. În fraza ‘Banca a aprobat creditul’ versus ‘S-a așezat pe o bancă în parc’, cuvântul ‘bancă’ are semnificații complet diferite.
Mecanismul de Auto-Atenție (Self-Attention) calculează o matrice de scoruri de atenție între fiecare pereche de cuvinte, permițând modelului să rezolve ambiguitățile, să lege pronumele de substantivele corecte și să capteze nuanțele semantice.
Analogia din viața reală
Când citești o carte polițistă și întâlnești propoziția: ‘Detectivul l-a privit pe suspect când el a scăpat arma’, ochii tăi fac instantaneu legătura între cuvântul ‘el’ și ‘suspect’, nu cu ‘detectivul’. Auto-atenția este exact această privire retrospectivă automată pe care o face creierul tău.
Cum funcționează tehnic
Fiecare token este transformat în trei vectori: Query (Q) (ce caută acest cuvânt), Key (K) (ce etichetă oferă acest cuvânt) și Value (V) (conținutul semantic efectiv al cuvântului).
Scorul de atenție se calculează prin produs scalar între Q și K, scalat cu radicalul dimensiunii vectorilor, urmat de o funcție Softmax: Attention(Q, K, V) = softmax(Q · K^T / √d_k) · V.
Exemple practice și aplicații
- Rezolvarea pronumelor: În ‘Animalul nu a trecut strada pentru că era prea obosit’, atenția leagă ‘era obosit’ de ‘animal’, nu de ‘stradă’.
- Corelarea dependențelor lungi: Înțelegerea subiectului chiar și atunci când între el și predicat există trei propoziții subordonate.
Greșeli frecvente sau mituri
Atenția nu înseamnă atenție umană conștientă, ci o ponderare de probabilitate (numere între 0 și 1) care dictează cât de mult contribuie vectorul unui cuvânt la reprezentarea altuia.
Termeni înrudiți
multi-head-attention: Noțiune asociată din ghidul de Modele Mari de Limbaj.transformer: Noțiune asociată din ghidul de Modele Mari de Limbaj.positional-encoding: Noțiune asociată din ghidul de Modele Mari de Limbaj.