Prin variabila de mediu VLLM_TORCH_PROFILER_DIR, vLLM activează colectorul PyTorch Profiler pentru a înregistra urmele temporale detaliate ale fiecărui kernel CUDA executat. Fișierele generate pot fi inspectate în Google Chrome la adresa chrome://tracing sau prin TensorBoard.
export VLLM_TORCH_PROFILER_DIR="./profiling_traces"
vllm bench latency --model meta-llama/Meta-Llama-3.1-8B-Instruct --batch-size 4Optimizare profundă: Permite identificarea exactă a blocajelor hardware de transfer de memorie între straturi.
Întrebări & Exemple practice:
Profilarea Execuției cu PyTorch Profiler în vLLMAi o întrebare despre Profilarea Execuției cu PyTorch Profiler în vLLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.