--gpu-memory-utilization indică vLLM ce proporție din VRAM-ul total poate fi pre-alocată (implicit 0.90 sau 90%). Restul de memorie este lăsat pentru kernel-urile CUDA și alocările sistemului de operare.
Exemplu de configurare
# Alocare conservatoare pe mașini care rulează și desktop GUI
vllm serve mistralai/Mistral-7B-v0.3 --gpu-memory-utilization 0.85Dacă este setat prea sus pe GPU-uri fără swap, poate cauza erori critice de tip CUDA out of memory la capturarea CUDA Graphs.
Întrebări & Exemple practice:
Parametrul –gpu-memory-utilization în vLLM: Controlul Fracțiunii de Memorie VRAM AlocatăAi o întrebare despre Parametrul –gpu-memory-utilization în vLLM: Controlul Fracțiunii de Memorie VRAM Alocată sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.