Obiectul DPOConfig gestionează hiperparametrii specifici optimizării preferințelor. De regulă, rata de învățare pentru DPO este mai mică decât pentru SFT (ex: 5e-6 sau 1e-5).
from trl import DPOConfig
dpo_args = DPOConfig(
output_dir="./dpo_outputs",
beta=0.1, # Coeficientul divergenței KL
learning_rate=5e-6, # Rata conservatoare de aliniere
per_device_train_batch_size=1,
gradient_accumulation_steps=8,
max_steps=50,
fp16=not is_bfloat16_supported(),
bf16=is_bfloat16_supported(),
logging_steps=1,
)Acești parametri previn degradarea cunoștințelor modelului în timp ce acesta învață să prefere răspunsurile dezirabile.
Întrebări & Exemple practice:
Configurarea Hiperparametrilor DPOConfigAi o întrebare despre Configurarea Hiperparametrilor DPOConfig sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.