Optimizatorul AdamW pe 8 Biți (optim=”adamw_8bit”) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

În algoritmul AdamW standard, pentru fiecare parametru antrenabil se stochează două stări în precizie float32 (media și varianța gradientului), consumând 8 octeți per parametru. Optimizatorul adamw_8bit din BitsAndBytes cuantizează aceste stări pe 8 biți fără pierderi de performanță.

# Reduce memoria cerută de optimizator de la ~4 GB la ~1 GB pe un model 8B
optimizer_choice = "adamw_8bit"

print(f"Optimizator activat: {optimizer_choice}")

Este setarea implicită și recomandată în Unsloth pentru toate antrenările pe un singur GPU.