infer_auto_device_map() analizează arhitectura modelului și calculează distribuția optimă a straturilor peste multiple GPU-uri și memoria RAM a sistemului (Offloading).
Exemplu de utilizare
from accelerate import infer_auto_device_map, init_empty_weights
from transformers import AutoConfig, AutoModelForCausalLM
config = AutoConfig.from_pretrained("meta-llama/Meta-Llama-3-70B")
# Instanțierea modelului fără a consuma memorie RAM
with init_empty_weights():
model = AutoModelForCausalLM.from_config(config)
device_map = infer_auto_device_map(
model,
max_memory={0: "20GiB", 1: "20GiB", "cpu": "64GiB"},
no_split_module_classes=["LlamaDecoderLayer"]
)
print(device_map)Parametrul no_split_module_classes împiedică ruperea blocurilor de atenție pe plăci diferite, menținând viteza de calcul.
Întrebări & Exemple practice:
Funcția infer_auto_device_map în Accelerate: Împărțirea Straturilor pe VRAM și RAMAi o întrebare despre Funcția infer_auto_device_map în Accelerate: Împărțirea Straturilor pe VRAM și RAM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.