Ce înseamnă RNN și LSTM
O RNN (Recurrent Neural Network, rețea neuronală recurentă) este făcută pentru secvențe: text, vorbire, prețuri zilnice. Ea citește elementele unul câte unul și, la fiecare pas, combină elementul nou cu o „memorie” internă (numită stare ascunsă) care rezumă tot ce a văzut până atunci.
Problema RNN-urilor simple este că uită repede: informația de la începutul unei fraze lungi se diluează pe parcurs. LSTM (Long Short-Term Memory), propusă în 1997 de Sepp Hochreiter și Jürgen Schmidhuber, rezolvă în mare parte problema. Până în jurul anului 2017, LSTM-urile erau standardul pentru traducere automată și recunoaștere vocală; apoi au fost înlocuite în mare parte de Transformer.
Cum funcționează
LSTM-ul adaugă o „bandă de memorie” și trei porți care decid ce se întâmplă cu ea: poarta de uitare (ce șterg din memorie), poarta de intrare (ce informație nouă păstrez) și poarta de ieșire (ce folosesc acum). Porțile sunt și ele învățate din date.
Dezavantajul principal: fiind secvențiale, aceste rețele nu pot procesa toate cuvintele în paralel, deci se antrenează lent pe plăcile video moderne. Transformer-ul, cu mecanismul de atenție, procesează toată secvența deodată.
Pe înțelesul tuturor
O RNN simplă este ca cineva care ascultă o poveste lungă fără să ia notițe: la final își amintește bine doar ultimele fraze. Un LSTM este același ascultător cu un carnețel, în care notează ce e important și tăie ce nu mai contează.
Exemplu
În fraza „Copiii care s-au jucat toată după-amiaza în parcul de lângă școală sunt obosiți”, verbul „sunt” trebuie acordat cu „copiii”, aflat cu multe cuvinte înainte. O RNN simplă poate pierde legătura; un LSTM o păstrează mai ușor în memorie. Tastaturile predictive de pe telefoane au folosit mult timp modele LSTM mici.
De reținut
- RNN-urile procesează datele în ordine și păstrează o stare internă (memorie).
- LSTM-ul folosește porți pentru a decide ce să țină minte și ce să uite.
- Se folosesc încă pentru serii de timp și pe dispozitive mici, dar la text au fost înlocuite de Transformer.
Nu confunda
- Memoria unui LSTM vs. memoria unui chatbot: „memoria” LSTM-ului este starea internă din timpul citirii unei secvențe, nu capacitatea unui asistent de a-și aminti conversații anterioare.
Termeni înrudiți
- Transformer: Arhitectura de rețea neuronală, prezentată de Google în 2017, pe care sunt construite aproape toate modelele de limbaj actuale.
- Mecanism de atenție (attention): Tehnica prin care un model decide, pentru fiecare cuvânt, la care alte cuvinte din text să fie atent ca să-i înțeleagă sensul.
- CNN (rețea neuronală convoluțională): Tip de rețea neuronală specializat pe imagini, care caută tipare mici (margini, colțuri) și le combină în forme și obiecte.
- Rețea neuronală: Model de AI format din mulți neuroni artificiali legați între ei, care învață din exemple ajustând puterea legăturilor.
- Backpropagation: Metoda prin care o rețea neuronală află cât a contribuit fiecare pondere la eroare, ca să știe cum să le corecteze.