Opțiunea --max-model-len suprascrie lungimea maximă de context din config.json. Este vitală când rulați modele cu context nativ masiv (128k tokeni) pe plăci grafice cu memorie limitată.
Exemplu de rulare
# Limitare Llama-3 (128k nativ) la 16k pentru a susține 30 de utilizatori simultani
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 16384Reduce drastic alocarea inițială per slot, multiplicând debitul total de cereri procesate în paralel.
Întrebări & Exemple practice:
Parametrul –max-model-len în vLLM: Limitarea Lungimii de Context pentru Optimizare VRAMAi o întrebare despre Parametrul –max-model-len în vLLM: Limitarea Lungimii de Context pentru Optimizare VRAM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.