Ce este
Spre deosebire de rețelele recurente care citeau textul pas cu pas, Transformerul procesează toți tokenii în paralel. Fără un mecanism suplimentar, modelul ar vedea fraza ‘Câinele a mușcat omul’ identică cu ‘Omul a mușcat câinele’, deoarece conțin exact aceleași cuvinte.
Codificarea pozițională adaugă fiecărui vector de cuvânt o semnătură matematică unică ce reflectă poziția sa absolută sau relativă în șir.
Analogia din viața reală
Dacă primești o scrisoare tăiată în cuvinte individuale aruncate într-o pungă, ai o simplă grămadă de cuvinte fără sens. Dar dacă fiecare bucățică de hârtie are scris pe spate un număr de ordine (1, 2, 3…), poți reconstrui instantaneu mesajul exact în ordinea corectă.
Cum funcționează tehnic
În Transformerul original s-au folosit funcții trigonometrice sinusoidale (sin și cos pe frecvențe diferite).
Modelele moderne (Llama 3, Mistral, Qwen) folosesc RoPE (Rotary Position Embedding): rotește vectorii Query și Key în spațiul bidimensional cu un unghi proporțional cu poziția lor, permițând modelului să calculeze direct distanța relativă dintre două cuvinte.
Exemple practice și aplicații
- Diferențierea sensului: ‘Nu e rău, ci bun’ vs ‘Nu e bun, ci rău’.
- Extinderea contextului: Prin tehnica RoPE Scaling (YaRN), cercetătorii pot extinde contextul unui model antrenat inițial pe 8k la 128k fără reantrenare masivă.
Greșeli frecvente sau mituri
Poziția nu este un simplu număr scalar adăugat la final; este integrată în unghiul sau faza vectorilor multidimensionali pentru a păstra relațiile geometrice indiferent de lungimea textului.
Termeni înrudiți
self-attention: Noțiune asociată din ghidul de Modele Mari de Limbaj.transformer: Noțiune asociată din ghidul de Modele Mari de Limbaj.context-window: Noțiune asociată din ghidul de Modele Mari de Limbaj.