Ce este
În fiecare bloc al unui Transformer, după stratul de Multi-Head Attention, se află o rețea Feed-Forward complet conectată (FFN). Dacă atenția se ocupă de relațiile dintre cuvinte în contextul curent, FFN-ul este locul unde sunt stocate ‘cunoștințele generale’ ale modelului despre lume.
Cercetările arată că straturile FFN acționează ca memorii de tip cheie-valoare: detectează concepte complexe și activează faptele asociate.
Analogia din viața reală
Dacă stratul de atenție este ca un detectiv care citește dosarul unei anchete și face conexiuni între indicii, stratul Feed-Forward este enciclopedia pe care o are în bibliotecă, din care extrage date exacte despre istorie, știință, geografie sau reguli de sintaxă.
Cum funcționează tehnic
Stratul FFN constă de regulă în două transformări liniare separate printr-o funcție de activare neliniară (cum ar fi SwiGLU sau GELU).
Dimensiunea internă a FFN este de obicei de 4 ori mai mare decât dimensiunea embedding-ului (sau 8/3 în variantele SwiGLU), reprezentând aproximativ două treimi din totalul parametrilor unui model Transformer.
Exemple practice și aplicații
- Când modelul citește ‘Turnul Eiffel se află în…’, FFN-ul activează probabilitatea maximă pentru tokenul ‘ Paris’.
- În arhitecturile Mixture of Experts (MoE), tocmai aceste straturi FFN sunt împărțite în ‘experți’ specializați independenți.
Greșeli frecvente sau mituri
Nu confunda FFN din Transformer cu vechile rețele MLP clasice de acum 20 de ani; în Transformer, FFN colaborează strâns cu conexiunile reziduale și normalizarea de strat (RMSNorm).
Termeni înrudiți
transformer: Noțiune asociată din ghidul de Modele Mari de Limbaj.self-attention: Noțiune asociată din ghidul de Modele Mari de Limbaj.moe: Noțiune asociată din ghidul de Modele Mari de Limbaj.