Ce este
Transformerul este o arhitectură de învățare profundă introdusă de cercetătorii Google în celebra lucrare ‘Attention Is All You Need’ (2017). A înlocuit vechile rețele recurente (RNN și LSTM), care procesau textul cuvânt cu cuvânt de la stânga la dreapta.
Inovația majoră constă în procesarea paralelă a întregului text și utilizarea mecanismului de auto-atenție, permițând modelului să calculeze instantaneu relațiile dintre toate cuvintele unei fraze, indiferent de distanța dintre ele.
Analogia din viața reală
Gândește-te la o orchestră simfonică: într-o rețea veche RNN, dirijorul asculta fiecare instrument pe rând și trebuia să țină minte ce a cântat primul instrument când ajungea la ultimul. Într-un Transformer, dirijorul aude întreaga orchestră în același timp și percepe instantaneu armonia și legăturile dintre viori, violoncele și tobe.
Cum funcționează tehnic
Arhitectura clasică conține două blocuri mari: un Encoder (care transformă textul de intrare într-o reprezentare semantică densă) și un Decoder (care generează text token cu token).
Modelele generative populare de tip GPT, Claude sau Llama folosesc o variantă decoder-only: primesc un șir de tokeni (promptul) și prezic autoregresiv următorul token cel mai probabil.
Exemple practice și aplicații
- Modele decoder-only: GPT-4o, Claude 3.5, Llama 3, Mistral, Gemini (optimizate pentru generare de text și dialog).
- Modele encoder-only: BERT, RoBERTa (optimizate pentru clasificare de text, extragere de entități și căutare semantică).
- Modele encoder-decoder: T5, BART (folosite frecvent pentru traducere automată și rezumare de texte lungi).
Greșeli frecvente sau mituri
Mit frecvent: ‘Transformerul înțelege conștiința sau sensul real al lumii’. În realitate, este un mecanism matematic extrem de sofisticat de corelare a tiparelor statistice din text.
Termeni înrudiți
self-attention: Noțiune asociată din ghidul de Modele Mari de Limbaj.multi-head-attention: Noțiune asociată din ghidul de Modele Mari de Limbaj.context-window: Noțiune asociată din ghidul de Modele Mari de Limbaj.feed-forward-network: Noțiune asociată din ghidul de Modele Mari de Limbaj.