Alocarea Dispozitivelor cu device_map=”auto” în Unsloth: Fine-Tuning LLM & Eficiență VRAM

În mod implicit, pentru o viteză maximă de antrenare, Unsloth alocă întregul model pe GPU-ul principal specificat (device_map={"": 0}). Spre deosebire de Hugging Face standard, Unsloth evită trimiterea automată a straturilor pe CPU (offloading), deoarece transferul prin magistrala PCIe încetinește antrenarea de peste 10 ori.

from unsloth import FastLanguageModel

# Pentru un singur GPU, Unsloth plasează totul în VRAM
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Meta-Llama-3.1-8B-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
    device_map={"": 0}
)

Dacă modelul nu încape integral în VRAM, se recomandă reducerea max_seq_length sau utilizarea unei variante cuantizate pe 4 biți.