Activarea Scalării Stabile rsLoRA (Rank-Stabilized LoRA) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

În LoRA standard, actualizarea se scalează cu lora_alpha / r. La ranguri mari (ex: r=64 sau r=128), această scalare reduce prea mult magnitudinea gradientului. Tehnica rsLoRA (Rank-Stabilized LoRA) înlocuiește scalarea cu lora_alpha / sqrt(r).

# Activare rsLoRA pentru adaptare la rang mare fără degradare
model = FastLanguageModel.get_peft_model(
    model,
    r=64,
    lora_alpha=64,
    use_rslora=True, # Activează scalarea stabilizată
    target_modules=["q_proj", "v_proj"],
)

rsLoRA deblochează capacitatea de memorare a adaptorilor mari fără a produce explozii de gradient.