Metodologia RLHF (Reinforcement Learning from Human Feedback) bazată pe algoritmul PPO a fost tehnica revoluționară care a dat naștere modelului InstructGPT și ChatGPT. Sistemul menține patru componente distincte în timpul antrenării:
- Actor (Politica): Modelul care generează răspunsurile ce trebuie optimizate.
- Critic (Value Network): Rețeaua care estimează recompensa cumulată viitoare.
- Reward Model: Modelul judecător antrenat pe adnotările umane pentru a nota fiecare răspuns.
- Reference Model: Modelul original înghețat, utilizat pentru a calcula penalizarea KL Divergence pentru a preveni devierea haotică a limbajului.
from trl import PPOTrainer, PPOConfig
config = PPOConfig(batch_size=16, learning_rate=1.4e-5)
ppo_trainer = PPOTrainer(config, model=policy_model, ref_model=ref_model, tokenizer=tokenizer)
# Pas de optimizare pe baza scorului de recompensă
scores = reward_model(responses)
stats = ppo_trainer.step(queries, responses, scores)
print("Penalizare KL mediată:", stats["objective/kl"])Deși complex de reglat, PPO rămâne ideal pentru sarcini deschise unde explorarea dinamică a spațiului de soluții este critică.
Întrebări & Exemple practice:
Ciclul de Antrenare RLHF cu PPO (Proximal Policy Optimization)Ai o întrebare despre Ciclul de Antrenare RLHF cu PPO (Proximal Policy Optimization) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.