DPO (Direct Preference Optimization) a revoluționat alinierea modelelor de limbaj, înlocuind metoda complexă RLHF (PPO cu rețea Critic și Reward model) printr-o formulare matematică exactă direct pe funcția de pierdere de clasificare implicită.
from trl import DPOTrainer
from unsloth import PatchDPOTrainer
# Unsloth optimizează DPOTrainer pentru a folosi ref_model=None (salvând 50% VRAM)
PatchDPOTrainer()
dpo_trainer = DPOTrainer(
model=model,
ref_model=None, # Unsloth nu necesită dublarea modelului în VRAM!
tokenizer=tokenizer,
train_dataset=dataset_preferinte,
max_length=1024,
max_prompt_length=512,
args=dpo_args,
)Prin setarea ref_model=None, Unsloth calculează referința prin dezactivarea dinamică a adaptorilor LoRA, reducând la jumătate consumul de memorie video.
Întrebări & Exemple practice:
Inițializarea DPOTrainer pentru Optimizarea PreferințelorAi o întrebare despre Inițializarea DPOTrainer pentru Optimizarea Preferințelor sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.