Descriere & Utilizare
Faza de pre-fill (când modelul citește un document lung de intrare de 20.000 de tokeni) solicită masiv nucleele GPU, putând opri temporar generarea tokenilor pentru ceilalți utilizatori care așteaptă răspunsuri scurte.
Prin activarea --enable-chunked-prefill true, vLLM sparge procesarea prompturilor lungi în bucăți mai mici și le intercalează cu generarea pas cu pas a celorlalte cereri active, uniformizând latența generală a serverului.
Cum să o reții ușor
💡 La casa de marcat de la supermarket: clientul cu un cărucior plin cu 200 de produse lasă pe rând să treacă în față clienții care au doar o sticlă de apă sau o pâine în mână.
Opțiuni și parametri tehnici
- Limitează numărul maxim de tokeni procesați în etapa de pre-fill per pas de scheduler.
Exemple practice și cazuri de utilizare
vllm serve Qwen/Qwen2.5-72B-Instruct --enable-chunked-prefill true --max-num-batched-tokens 2048
Sfaturi de configurare & capcane
Este setarea critică recomandată în sistemele de producție de tip RAG unde utilizatorii trimit frecvent PDF-uri mari în context.
Comenzi și ghiduri înrudite
continuous-batching: Comandă asociată din acest modul.max-model-len: Comandă asociată din acest modul.paged-attention: Comandă asociată din acest modul.