Proximal Policy Optimization (PPO) este algoritmul clasic de învățare prin întărire (RL) care guvernează ciclul RLHF în modele precum ChatGPT și Claude. Acesta limitează pasul de actualizare a politicii (policy) pentru a preveni destabilizarea modelului.
Arhitectura PPO în LLM (necesită 4 modele în memoria GPU simultan!):
1. Actor (Modelul antrenat): generează răspunsul curent.
2. Critic (Value Network): estimează recompensa așteptată pentru fiecare token.
3. Reward Model: oferă scorul scalat acordat întregului răspuns.
4. Reference Model (copie înghețată SFT): penalizează deviațiile mari prin divergența KL
(Kullback-Leibler) pentru ca modelul să nu uite vocabularul și fluența gramaticală.Cost computațional: Deși puternic, PPO este complex și intensiv din punct de vedere al resurselor hardware, determinând apariția alternativelor fără critic (DPO, GRPO).
Întrebări & Discuții: PPO în LLM: Proximal Policy Optimization în Sistemele RLHF Clasice
Ai o întrebare despre PPO în LLM: Proximal Policy Optimization în Sistemele RLHF Clasice sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.