Nou Generator de prompt AI — scrie prompturi mai bune pentru ChatGPT, Claude și Gemini →

Ce este Arhitectura Transformer?

Arhitectura de rețea neuronală bazată pe atenție, introdusă în 2017, pe care se construiesc modelele mari de limbaj actuale.

Denumire completă

Transformer – arhitectură de rețea neuronală bazată pe mecanismul de atenție (Vaswani et al., 2017)

Ce înseamnă Arhitectura Transformer

Transformerul a fost introdus în lucrarea Attention Is All You Need (Vaswani et al., 2017), scrisă de cercetători de la Google Brain, Google Research și Universitatea din Toronto. Lucrarea propune o arhitectură „bazată exclusiv pe mecanisme de atenție”, fără rețelele recurente (RNN, LSTM) sau convoluționale folosite până atunci pentru traducere automată.

Pentru că nu procesează textul pas cu pas, Transformerul se poate antrena în paralel pe toți tokenii unei secvențe. Lucrarea arată că modelul se antrenează mai repede decât arhitecturile de atunci și obține rezultate mai bune la traducere.

Cum funcționează

Arhitectura originală are un encoder, care transformă textul de intrare în reprezentări numerice, și un decoder, care generează ieșirea token cu token. Fiecare strat combină un bloc de atenție multi-head cu o rețea feed-forward, plus conexiuni reziduale și normalizare.

Modelele generative de tip GPT sau Llama folosesc doar partea de decoder: primesc o secvență de tokeni și prezic, unul câte unul, tokenul următor (generare autoregresivă).

Pe înțelesul tuturor

Într-o rețea recurentă, textul trece ca pe o bandă rulantă: fiecare cuvânt așteaptă să fie procesat cel dinainte. Într-un Transformer, toate cuvintele sunt așezate pe o masă în același timp, iar fiecare se poate „uita” direct la oricare altul.

Exemplu

Doar encoder: BERT (Google, 2018), folosit pentru clasificare de text și căutare.

Encoder-decoder: T5 (Google, 2019), care tratează orice sarcină ca transformare de text în text.

Doar decoder: GPT-3 (OpenAI, 2020) și familia Llama (Meta), folosite pentru generare de text și dialog.

De reținut

  • Transformerul a apărut în 2017, pentru traducere automată.
  • Elementul central este atenția, care leagă direct oricare două poziții din secvență.
  • Majoritatea LLM-urilor generative deschise documentate public sunt de tip decoder-only.

Nu confunda

  • Transformer vs. GPT: Transformer este arhitectura; GPT este o familie de modele construită pe varianta decoder-only a acestei arhitecturi.

Termeni înrudiți

  • Auto-Atenția (Self-Attention): Inima Transformerului: mecanismul matematic care permite modelului să decidă ce alte cuvinte contează pentru a înțelege un anumit cuvânt în context.
  • Multi-Head Attention: Varianta atenției în care mai multe capete calculează atenția în paralel, fiecare pe propria proiecție a datelor, iar rezultatele se combină.
  • Rețele Feed-Forward (FFN): Sub-stratul din fiecare bloc Transformer care transformă separat vectorul fiecărui token și care conține aproximativ două treimi din parametri.
  • Codificarea Pozițională (Positional Encoding): Mecanismul care îi spune Transformerului ordinea tokenilor, necesar pentru că atenția singură nu ține cont de poziție.
  • Fereastra de Context (Context Window): Limita de tokeni pe care modelul o poate vedea într-o cerere: instrucțiuni, istoric, documente și răspunsul generat.
Învață AI • Comunitate & Q&A

Întrebări & Discuții: Arhitectura Transformer

Ai o întrebare despre Arhitectura Transformer sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.