Reglarea Factorului de Scalare lora_alpha în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Factorul lora_alpha este o constantă de scalare care multiplică actualizarea LoRA conform formulei (lora_alpha / r) * (A * B). În Unsloth și cercetarea modernă, se recomandă setarea lui lora_alpha = r sau lora_alpha = 2 * r.

r = 16
# Raportul standard 1:1 sau 2:1
lora_alpha = 16  # Scala efectivă = 16 / 16 = 1.0

# Dacă alegeți lora_alpha = 32, scala devine 32 / 16 = 2.0 (impact dublat pe ponderi)
print(f"Factor de multiplicare ponderi LoRA: {lora_alpha / r}")

Menținerea raportului constant atunci când modificați rangul r evită necesitatea de a recalibra complet rata de învățare (learning_rate).