Alinierea Fără Model de Referință prin ORPOTrainer în Unsloth: Fine-Tuning LLM & Eficiență VRAM

ORPO (Odds Ratio Preference Optimization) elimină complet necesitatea unei etape separate de SFT urmată de DPO. ORPO penalizează direct raportul de șanse (odds ratio) al răspunsurilor respinse în timpul fazei inițiale de instruire supervizată.

from trl import ORPOTrainer, ORPOConfig

orpo_args = ORPOConfig(
    output_dir="./orpo_outputs",
    beta=0.1,
    learning_rate=8e-6,
    max_length=1024,
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
)

orpo_trainer = ORPOTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    args=orpo_args,
)

ORPO reduce timpul total de antrenare la jumătate prin unificarea celor două fluxuri într-o singură trecere.