dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
VLLM Toate comenzile vLLM & Infrastructură LLM

Parametrul –quantization fp8 în vLLM: Inferență Nativă FP8 pe Arhitecturi Ada și Hopper în vLLM & Infrastructură LLM

Paralelism și Scalare Hardware (vLLM) vLLM 0.6+ Q&A AI / Distribuie cod

Rularea modelelor pre-cuantizate pe 8 biți pentru performanță maximă pe hardware Nvidia din generațiile H100 și RTX 4000.

Sintaxă & invocare 
vllm serve neuralmagic/Meta-Llama-3-70B-Instruct-FP8 --quantization fp8

Opțiunea --quantization fp8 permite încărcarea greutăților comprimate în format FP8 (E4M3), dublând throughput-ul comparativ cu FP16 și reducând consumul de VRAM la jumătate.

Exemplu de rulare

# Rularea modelului Llama-3 70B FP8 pe doar două plăci RTX 4090 (2x24GB)
vllm serve neuralmagic/Meta-Llama-3-70B-Instruct-FP8 \
  --tensor-parallel-size 2 \
  --quantization fp8

Nu necesită de-cuantizare la runtime pe arhitecturile cu nuclee Tensor de generația a 4-a.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Parametrul –quantization fp8 în vLLM: Inferență Nativă FP8 pe Arhitecturi Ada și Hopper

Ai o întrebare despre Parametrul –quantization fp8 în vLLM: Inferență Nativă FP8 pe Arhitecturi Ada și Hopper sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.