Optimizarea GRPO (Group Relative Policy Optimization) în Unsloth în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Unsloth include suport de primă clasă pentru GRPO (Group Relative Policy Optimization), algoritmul open-source dezvoltat de DeepSeek care a permis modelului DeepSeek-R1 să dezvolte capacități avansate de raționament fără rețele critice costisitoare.

from trl import GRPOTrainer, GRPOConfig

# Configurare GRPO conform metodologiei DeepSeek-R1
grpo_args = GRPOConfig(
    output_dir="./grpo_reasoning_outputs",
    learning_rate=5e-6,
    num_generations=4,           # Generează 4 răspunsuri candidate per întrebare
    max_prompt_length=256,
    max_completion_length=512,
    per_device_train_batch_size=1,
)

Pentru fiecare întrebare se eșantionează un grup de răspunsuri, iar avantajul matematic este calculat comparând scorul fiecărui răspuns cu media grupului.