dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
VLLM Toate comenzile vLLM & Infrastructură LLM

Parametrul –kv-cache-dtype în vLLM: Cuantizarea Cache-ului KV în Format FP8 în vLLM & Infrastructură LLM

Optimizare Memorie și PagedAttention vLLM 0.6+ Q&A AI / Distribuie cod

Înjumătățirea consumului de memorie al atenției prin stocarea stărilor Key și Value pe 8 biți în loc de 16 biți.

Sintaxă & invocare 
vllm serve model_name --kv-cache-dtype fp8

Opțiunea --kv-cache-dtype fp8 activează cuantizarea dinamică a blocurilor de memorie KV în format FP8 (E4M3 sau E5M2), dublând capacitatea efectivă a numărului de tokeni stocați în VRAM.

Exemplu de utilizare

# Creșterea capacității de deservire pe plăci Ada Lovelace (RTX 4090)
vllm serve meta-llama/Llama-3.1-8B-Instruct --kv-cache-dtype fp8

Păstrează acuratețea modelului peste 99.8% cu o degradare perceptibilă neglijabilă a răspunsurilor.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Parametrul –kv-cache-dtype în vLLM: Cuantizarea Cache-ului KV în Format FP8

Ai o întrebare despre Parametrul –kv-cache-dtype în vLLM: Cuantizarea Cache-ului KV în Format FP8 sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.