vllm download-kernels în vLLM & Infrastructură LLM

vllm download-kernels [--dry-run]

Ce face vllm download-kernels

vllm download-kernels instalează kernel-urile precompilate ale dependențelor. În prezent instalează kernel-urile FlashInfer și nu face nimic dacă FlashInfer nu este instalat.

Fără ele, vLLM descarcă și compilează kernel-urile la pornire, ceea ce poate adăuga câteva minute pe GPU-uri Hopper și mai noi, mai ales Blackwell. Kernel-urile sunt legate de versiunea FlashInfer, iar FlashInfer refuză să se importe dacă nu se potrivesc. De aceea comanda se rulează în același mediu Python după fiecare instalare sau actualizare vLLM și în imaginile de container proprii.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
--dry-run	Afișează comenzile de instalare fără să le ruleze. Implicit dezactivat.

Exemple practice

Exemplul 1: După instalare, ca în Quickstart

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels

Exemplul 2: Doar afișarea comenzilor

vllm download-kernels --dry-run

Greșeli frecvente și bune practici

• Actualizezi vLLM și nu rulezi din nou comanda; kernel-urile vechi nu se potrivesc cu noua versiune FlashInfer.
• O rulezi în alt mediu virtual decât cel în care este instalat vLLM.

Comenzi înrudite

• vllm-cli
• vllm-docker
• vllm-preload