Ce este Transformer?

Ce înseamnă Transformer

Transformer-ul este un tip de arhitectură de rețea neuronală, adică un mod anume de a organiza straturile și calculele unui model. A fost prezentat în 2017 de cercetători de la Google, în articolul „Attention Is All You Need”, inițial pentru traducere automată.

A devenit baza aproape tuturor modelelor lingvistice mari: litera T din GPT vine de la Transformer. Este folosit și pentru imagini, sunet, video, proteine și multe alte tipuri de date.

Inovația lui principală este mecanismul de atenție (self-attention), care îi permite modelului să analizeze toate cuvintele unui text deodată și să stabilească, pentru fiecare cuvânt, ce alte cuvinte contează pentru înțelegerea lui.

Cum funcționează

Textul este împărțit în tokeni, iar fiecare token devine un vector de numere (embedding). Vectorii trec apoi prin zeci de blocuri identice. În fiecare bloc, stratul de atenție lasă fiecare token să „se uite” la ceilalți și să preia informații de la cei relevanți, iar un strat obișnuit de rețea neuronală prelucrează rezultatul.

Modelele de dinainte (rețelele recurente, RNN) citeau textul cuvânt cu cuvânt, în ordine, și „uitau” ușor începutul frazelor lungi. Transformer-ul procesează toți tokenii în paralel, ceea ce îl face mult mai rapid de antrenat pe plăci grafice și mai bun la legăturile dintre cuvinte aflate departe unul de altul. Dezavantajul: costul atenției crește rapid odată cu lungimea textului.

Pe înțelesul tuturor

Gândește-te la o ședință în care fiecare participant îi poate auzi pe toți ceilalți în același timp și decide pe cine să bage în seamă pentru subiectul lui. Asta face atenția dintr-un transformer: fiecare cuvânt „ascultă” toate celelalte cuvinte și se concentrează pe cele relevante.

Exemplu

În propoziția „Mașina nu a intrat în garaj pentru că era prea mare”, cuvântul „era” se referă la mașină; în „…pentru că era prea mic”, se referă la garaj. Mecanismul de atenție al unui transformer învață să lege „era” de cuvântul potrivit în funcție de context, lucru pe care modelele mai vechi îl făceau greu.

De reținut

• Transformer-ul este arhitectura de bază a LLM-urilor moderne.
• A fost prezentat de Google în 2017, în articolul „Attention Is All You Need”.
• Ideea-cheie este atenția: fiecare token ține cont de toți ceilalți tokeni.

Nu confunda

• Transformer vs. GPT: transformer-ul este arhitectura generală; GPT este o familie de modele concrete construite pe ea.
• Transformer vs. transformatorul electric: numele este o coincidență; aici e vorba de un model matematic care „transformă” o secvență de tokeni în alta.

Termeni înrudiți

• Mecanism de atenție (attention): Tehnica prin care un model decide, pentru fiecare cuvânt, la care alte cuvinte din text să fie atent ca să-i înțeleagă sensul.
• LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
• GPT: Familia de modele de limbaj creată de OpenAI, folosită în ChatGPT; numele înseamnă „transformer generativ pre-antrenat”.
• RNN și LSTM: Rețele care procesează date în ordine, pas cu pas, păstrând o memorie a ce au văzut înainte; LSTM este varianta care ține minte mai bine.
• Embedding: Transformarea unui text, a unei imagini sau a unui sunet într-o listă de numere care îi surprinde sensul; lucrurile asemănătoare ajung apropiate.
• Token: Bucata de text (cuvânt, parte de cuvânt sau semn) cu care lucrează un model de limbaj; limitele și costurile se măsoară în tokeni.