dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
VLLM Toate comenzile vLLM & Infrastructură LLM

Parametrul –pipeline-parallel-size (PP) în vLLM: Paralelism de Conductă peste Noduri Rețea în vLLM & Infrastructură LLM

Paralelism și Scalare Hardware (vLLM) vLLM 0.6+ Q&A AI / Distribuie cod

Împărțirea secvențială a blocurilor de straturi Transformer pe noduri diferite pentru depășirea limitelor de magistrală.

Sintaxă & invocare 
vllm serve model_name --pipeline-parallel-size 2 --tensor-parallel-size 2

Pipeline Parallelism (--pipeline-parallel-size sau -pp) plasează layerele 1..16 pe un set de GPU-uri și layerele 17..32 pe alt set, fiind optim pentru clustere fără NVLink inter-nod.

Exemplu 2D Parallelism

# Combinare TP=2 și PP=2 pentru un total de 4 GPU-uri distribuite
vllm serve deepseek-ai/DeepSeek-V2-Lite \
  --tensor-parallel-size 2 \
  --pipeline-parallel-size 2

Reduce volumul de sincronizare pe fiecare pas de calcul, la schimbul activărilor dintre etape.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Parametrul –pipeline-parallel-size (PP) în vLLM: Paralelism de Conductă peste Noduri Rețea

Ai o întrebare despre Parametrul –pipeline-parallel-size (PP) în vLLM: Paralelism de Conductă peste Noduri Rețea sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.