Ce este
Un singur mecanism de atenție ar putea fi copleșit dacă ar trebui să urmărească simultan toate tipurile de relații dintr-o frază (acordul de gen, timpul verbelor, sensul figurat și entitățile menționate).
Multi-Head Attention rezolvă această problemă împărțind vectorii în mai multe ‘capete’ (heads) de atenție independente (de regulă 32, 64 sau 128 de capete în modelele mari), fiecare specializându-se pe un tip specific de relație lingvistică.
Analogia din viața reală
Imaginează-ți o echipă de specialiști care analizează un contract comercial: juristul verifică clauzele de răspundere, contabilul verifică cifrele și termenele de plată, iar stilistul verifică exprimarea. Fiecare citește același document din perspectiva expertizei sale, iar la final își combină observațiile într-un raport unitar.
Cum funcționează tehnic
Vectorii Q, K și V sunt proiectați liniar în mai multe sub-spații de dimensiuni mai mici.
Fiecare cap (head) își calculează propria atenție în mod paralel, iar rezultatele tuturor capetelor sunt concatenate și multiplicate printr-o matrice de proiecție finală.
Exemple practice și aplicații
- Un cap de atenție poate urmări cine face acțiunea (subiect – predicat).
- Un alt cap de atenție poate fi specializat în găsirea antonimelor sau a negațiilor (nu, niciodată).
- Alte capete pot recunoaște structuri de cod (deschiderea și închiderea parantezelor în Python sau JavaScript).
Greșeli frecvente sau mituri
Capetele de atenție nu sunt programate manual de cercetători; ele învață singure aceste specializări în timpul pre-antrenării pe miliarde de pagini web.
Termeni înrudiți
self-attention: Noțiune asociată din ghidul de Modele Mari de Limbaj.transformer: Noțiune asociată din ghidul de Modele Mari de Limbaj.feed-forward-network: Noțiune asociată din ghidul de Modele Mari de Limbaj.