Ce înseamnă Arhitectura Transformer
Transformerul a fost introdus în lucrarea Attention Is All You Need (Vaswani et al., 2017), scrisă de cercetători de la Google Brain, Google Research și Universitatea din Toronto. Lucrarea propune o arhitectură „bazată exclusiv pe mecanisme de atenție”, fără rețelele recurente (RNN, LSTM) sau convoluționale folosite până atunci pentru traducere automată.
Pentru că nu procesează textul pas cu pas, Transformerul se poate antrena în paralel pe toți tokenii unei secvențe. Lucrarea arată că modelul se antrenează mai repede decât arhitecturile de atunci și obține rezultate mai bune la traducere.
Cum funcționează
Arhitectura originală are un encoder, care transformă textul de intrare în reprezentări numerice, și un decoder, care generează ieșirea token cu token. Fiecare strat combină un bloc de atenție multi-head cu o rețea feed-forward, plus conexiuni reziduale și normalizare.
Modelele generative de tip GPT sau Llama folosesc doar partea de decoder: primesc o secvență de tokeni și prezic, unul câte unul, tokenul următor (generare autoregresivă).
Pe înțelesul tuturor
Într-o rețea recurentă, textul trece ca pe o bandă rulantă: fiecare cuvânt așteaptă să fie procesat cel dinainte. Într-un Transformer, toate cuvintele sunt așezate pe o masă în același timp, iar fiecare se poate „uita” direct la oricare altul.
Exemplu
Doar encoder: BERT (Google, 2018), folosit pentru clasificare de text și căutare.
Encoder-decoder: T5 (Google, 2019), care tratează orice sarcină ca transformare de text în text.
Doar decoder: GPT-3 (OpenAI, 2020) și familia Llama (Meta), folosite pentru generare de text și dialog.
De reținut
- Transformerul a apărut în 2017, pentru traducere automată.
- Elementul central este atenția, care leagă direct oricare două poziții din secvență.
- Majoritatea LLM-urilor generative deschise documentate public sunt de tip decoder-only.
Nu confunda
- Transformer vs. GPT: Transformer este arhitectura; GPT este o familie de modele construită pe varianta decoder-only a acestei arhitecturi.
Termeni înrudiți
- Auto-Atenția (Self-Attention): Inima Transformerului: mecanismul matematic care permite modelului să decidă ce alte cuvinte contează pentru a înțelege un anumit cuvânt în context.
- Multi-Head Attention: Varianta atenției în care mai multe capete calculează atenția în paralel, fiecare pe propria proiecție a datelor, iar rezultatele se combină.
- Rețele Feed-Forward (FFN): Sub-stratul din fiecare bloc Transformer care transformă separat vectorul fiecărui token și care conține aproximativ două treimi din parametri.
- Codificarea Pozițională (Positional Encoding): Mecanismul care îi spune Transformerului ordinea tokenilor, necesar pentru că atenția singură nu ține cont de poziție.
- Fereastra de Context (Context Window): Limita de tokeni pe care modelul o poate vedea într-o cerere: instrucțiuni, istoric, documente și răspunsul generat.
Întrebări & Discuții: Arhitectura Transformer
Ai o întrebare despre Arhitectura Transformer sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.