dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
VLLM Toate comenzile vLLM & Infrastructură LLM

Formate de Încărcare a Ponderilor: –load-format (safetensors, pt, npz, dummy) în vLLM & Infrastructură LLM

Scalare GPU, Hardware și Cuantizare Gestiune Modele Q&A AI / Distribuie cod
Sintaxă & invocare 
vllm serve model --load-format safetensors | pt | npz | dummy

–load-format dictează formatul din care sunt citite greutățile de pe disc: safetensors (rapid și sigur, fără execuție arbitrară de cod), pt (formate clasice PyTorch), sau dummy (inițializare cu ponderi aleatorii pentru benchmark-uri hardware fără descărcarea modelului real).

# Testarea vitezei hardware fără a descărca 140 GB de pe internet:
vllm bench throughput --model meta-llama/Llama-3.1-70B --load-format dummy

Eficiență testare: Permite benchmarking-ul imediat al clusterelor de GPU înainte de transferul fișierelor masive de date.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Formate de Încărcare a Ponderilor: –load-format (safetensors, pt, npz, dummy)

Ai o întrebare despre Formate de Încărcare a Ponderilor: –load-format (safetensors, pt, npz, dummy) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.