Prin steagul –kv-cache-dtype fp8, vLLM stochează blocurile de atenție PagedAttention în virgulă mobilă pe 8 biți (FP8) în loc de 16 biți (FP16/BF16), înjumătățind instantaneu memoria VRAM consumată de context și permițând dublarea numărului de utilizatori deserviți concurent.
# Cuantizare FP8 pentru KV Cache pe plăci NVIDIA RTX 4090 sau H100:
vllm serve mistralai/Mistral-7B-Instruct-v0.3 --kv-cache-dtype fp8_e4m3Capacitate dublă: Deblochează ferestre de 64k sau 128k tokeni fără a degrada acuratețea semantică a modelului.
Întrebări & Exemple practice:
Cuantizarea KV Cache (–kv-cache-dtype): Reducerea Memoriei prin FP8Ai o întrebare despre Cuantizarea KV Cache (–kv-cache-dtype): Reducerea Memoriei prin FP8 sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.