Implicit, vLLM capturează zeci de grafuri CUDA (CUDA Graphs) la pornire pentru fiecare dimensiune posibilă de batch, ceea ce maximizează viteza dar consumă între 1 și 2 GB de VRAM suplimentar. Steagul –enforce-eager dezactivează capturarea grafurilor, rulând în modul Eager PyTorch.
# Economisirea a 1.5 GB VRAM pentru a preveni erorile Out Of Memory:
vllm serve mistralai/Mistral-7B-Instruct-v0.3 --enforce-eagerCompromis: O mică penalizare de latență CPU la schimbul unui spațiu suplimentar de memorie pentru context.
Întrebări & Exemple practice:
Modul Eager vs CUDA Graphs: –enforce-eager pentru Economie de MemorieAi o întrebare despre Modul Eager vs CUDA Graphs: –enforce-eager pentru Economie de Memorie sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.