VLLM Toate comenzile vLLM & Infrastructură LLM

`Lungimea Maximă a Contextului (–max-model-len)` în vLLM & Infrastructură LLM

Scalare GPU, Hardware și Cuantizare Nivel: mediu

Restricționează context window-ul maxim al modelului pentru a elibera spațiu prețios în memoria VRAM.

Sintaxă & invocare

--max-model-len <tokeni> (ex: 4096, 8192, 16384)

Descriere & Utilizare

Modelele moderne (precum Qwen 2.5 sau Llama 3.1) vin din fabrică cu ferestre native gigantice de 128.000 de tokeni. Alocarea memoriei pentru un context atât de mare poate consuma zeci de GB de VRAM doar pentru KV Cache.

Dacă știi că aplicația ta de chat are nevoie de maxim 8.000 de tokeni, specificarea --max-model-len 8192 reduce drastic amprenta de memorie și permite deservirea mult mai multor utilizatori concurenți.

Cum să o reții ușor

💡 Tăierea unui sul lung de hârtie la lungimea exactă a mesei tale de birou, fără a lăsa 50 de metri de hârtie să atârne pe jos prin cameră.

Opțiuni și parametri tehnici

Forțează limitele interne de alocare a blocurilor de atenție per cerere.

Exemple practice și cazuri de utilizare

vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct --max-model-len 8192

Sfaturi de configurare & capcane

Dacă primești erori de tip `ValueError: The model’s max seq len (131072) is larger than the maximum capacity`, folosește imediat acest steag.

Comenzi și ghiduri înrudite

gpu-memory-utilization: Comandă asociată din acest modul.
paged-attention: Comandă asociată din acest modul.
enable-chunked-prefill: Comandă asociată din acest modul.