AutoModelForCausalLM.from_pretrained() în Hugging Face Hub & Transformers

import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    dtype="auto",
    device_map="auto",
)

Ce face AutoModelForCausalLM.from_pretrained()

Clasele AutoModel... citesc config.json al modelului și instanțiază arhitectura potrivită. Pentru modelele care prezic tokenul următor (Llama, Mistral, Qwen, Gemma) clasa este AutoModelForCausalLM.

dtype controlează precizia greutăților. În Transformers 5, implicit se folosește dtype (sau vechiul torch_dtype) din config.json; dacă lipsește, dtype-ul primei greutăți în virgulă mobilă din checkpoint. Poți forța o valoare, de exemplu dtype=torch.float16. Numele de parametru torch_dtype este cel vechi; documentația actuală folosește dtype.

device_map="auto" lasă Accelerate să plaseze greutățile întâi pe dispozitivul cel mai rapid și apoi pe CPU sau disc, dacă nu încap. Pentru cuantizare se adaugă quantization_config (de exemplu BitsAndBytesConfig).

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
pretrained_model_name_or_path	ID-ul de pe Hub sau calea locală.
dtype	Precizia: "auto", torch.bfloat16, torch.float16 etc. Implicit valoarea din config.
device_map="auto"	Plasare automată pe GPU / CPU / disc (cere accelerate).
quantization_config	Configurația de cuantizare (bitsandbytes etc.).
attn_implementation	Implementarea atenției, de exemplu "flash_attention_2" sau "sdpa".

Exemple practice

Exemplul 1: Precizie fixată explicit

model = AutoModelForCausalLM.from_pretrained("google/gemma-3-1b-it", dtype=torch.float16)

Exemplul 2: Pe ce dispozitive au ajuns straturile

print(model.hf_device_map)

Exemplul 3: Model cuantizat pe 4 biți

from transformers import BitsAndBytesConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    quantization_config=BitsAndBytesConfig(load_in_4bit=True),
    device_map="auto",
)

Greșeli frecvente și bune practici

• Copiezi torch_dtype=... din exemple vechi. Documentația actuală folosește dtype.
• Presupui că modelul se încarcă implicit în FP32. În Transformers 5 precizia implicită vine din config.json; setează dtype doar când vrei altceva.
• Folosești device_map="auto" fără pachetul accelerate instalat.

Comenzi înrudite

• autotokenizer
• model-generate
• bitsandbytes-quantization
• accelerate-library