dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
VLLM Toate comenzile vLLM & Infrastructură LLM

Metrici de Observabilitate Prometheus: Endpoint-ul /metrics în vLLM & Infrastructură LLM

Server & Invocare CLI Observabilitate MLOps Q&A AI / Distribuie cod
Sintaxă & invocare 
curl http://localhost:8000/metrics -> Prometheus exporter metrics

vLLM include un exportator nativ Prometheus expus la ruta /metrics. Oferă date vitale de telemetrie: numărul de cereri în coadă, timpul până la primul token (TTFT), timpul per token (TPOT), procentul de ocupare a memoriei GPU și rata de succes a cache-ului PagedAttention.

Exemple de metrici Prometheus expuse de vLLM:
vllm:num_requests_running{model_name="..."} 12.0
vllm:num_requests_waiting{model_name="..."} 3.0
vllm:gpu_cache_usage_factor{model_name="..."} 0.78
vllm:time_to_first_token_seconds_bucket{le="0.5"} 1420.0
vllm:time_per_output_token_seconds_bucket{le="0.02"} 35800.0

Grafana ready: Permite crearea de tablouri de bord și alerte automate în caz de degradare a performanței.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Metrici de Observabilitate Prometheus: Endpoint-ul /metrics

Ai o întrebare despre Metrici de Observabilitate Prometheus: Endpoint-ul /metrics sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.