Ce înseamnă Învățare prin întărire
În învățarea prin întărire (reinforcement learning, prescurtat RL), un program numit agent învață să ia decizii acționând într-un mediu. Nu primește răspunsul corect la fiecare pas, ci doar un semnal de recompensă: puncte când face ceva bine, penalizări când face ceva rău.
Scopul agentului este să adune cât mai multe recompense pe termen lung. De aceea poate învăța să facă sacrificii de moment pentru un câștig mai mare mai târziu, ca un jucător de șah care sacrifică o piesă.
Cel mai cunoscut succes este AlphaGo, programul dezvoltat de DeepMind care, în 2016, l-a învins cu 4–1 pe Lee Sedol, unul dintre cei mai buni jucători de Go din lume. Metoda este folosită și în robotică și la antrenarea modelelor de limbaj, prin RLHF și prin antrenarea modelelor de raționament.
Cum funcționează
La fiecare pas, agentul observă starea mediului (de exemplu, poziția pieselor pe tablă), alege o acțiune, iar mediul îi răspunde cu o stare nouă și o recompensă. La început, acțiunile sunt aproape aleatoare. Treptat, agentul învață o politică: o regulă care spune ce acțiune merită aleasă în fiecare situație.
O dificultate esențială este echilibrul dintre explorare (încerci ceva nou, poate e mai bun) și exploatare (faci ce știi deja că merge). O alta este proiectarea recompensei: dacă e definită greșit, agentul poate găsi scurtături neașteptate, care aduc puncte fără să rezolve problema reală.
Pe înțelesul tuturor
Așa înveți un câine să dea laba: nu îi explici mișcarea, ci îi dai o recompensă de fiecare dată când face ce trebuie. După multe repetări, câinele face singur legătura dintre gest și recompensă.
Exemplu
Un robot dintr-un depozit învață să apuce cutii de forme diferite. Primește puncte de fiecare dată când ridică o cutie fără să o scape și pierde puncte când o scapă sau când durează prea mult. După multe încercări, de obicei mai întâi într-o simulare pe calculator, robotul găsește singur cel mai bun mod de a prinde fiecare tip de cutie.
De reținut
- Învățarea prin întărire se bazează pe încercare, eroare și recompense, nu pe exemple cu răspuns corect.
- Agentul învață să obțină cât mai multă recompensă pe termen lung.
- O recompensă prost definită poate produce comportamente neașteptate.
Nu confunda
- Prin întărire vs. supervizată: în învățarea supervizată, modelul află răspunsul corect pentru fiecare exemplu; în RL află doar dacă rezultatul a fost bun sau rău, adesea abia după mai mulți pași.
- RL vs. RLHF: RLHF este o aplicație a învățării prin întărire în care recompensa vine din preferințele oamenilor; este folosită la antrenarea chatboților.
Termeni înrudiți
- Machine learning (învățare automată): Ramura AI în care programele învață din exemple, în loc să primească reguli scrise pas cu pas de un programator.
- Învățare supervizată: Metoda de machine learning în care modelul învață din exemple care au deja atașat răspunsul corect.
- RLHF (învățare din feedback uman): Metodă de antrenare prin care un model de limbaj învață ce răspunsuri preferă oamenii, din comparațiile făcute de evaluatori.
- Agent AI: Sistem AI care primește un obiectiv și lucrează singur, în mai mulți pași, folosind unelte: caută, scrie, rulează cod, acționează în aplicații.
- Model de raționament: Model de limbaj antrenat să „gândească” pe îndelete, printr-un raționament intern, înainte de a da răspunsul final.
- Robotică și AI: Legătura dintre roboți, mașini fizice care acționează în lume, și AI, care îi ajută să perceapă mediul, să învețe și să decidă.