Când un model depășește capacitatea de memorie a unui singur GPU, parametrii săi sunt împărțiți pe mai multe plăci video: Tensor Parallelism împarte calculele matriceale în interiorul fiecărui strat, iar Pipeline Parallelism distribuie straturile succesive pe GPU-uri diferite.
Distribuția pe noduri de calcul:
- Tensor Parallelism (TP - Megatron-LM):
Împarte matricele Q, K, V pe magistrale rapide NVLink (ideal în interiorul aceluiași server de 8x GPU).
- Pipeline Parallelism (PP):
GPU 0 randează straturile 1-8 -> trimite activările prin rețea InfiniBand către GPU 1 (straturile 9-16).
Folosește micro-loturi (micro-batches) și planificare 1F1B (One Forward, One Backward)
pentru a reduce perioadele de inactivitate (pipeline bubble).Paralelism 3D: Combinarea Data Parallelism (DP) + TP + PP permite antrenarea modelelor masive cu sute de miliarde de parametri pe mii de plăci video.
Întrebări & Discuții: Paralelism de Modele: Pipeline Parallelism (PP) și Tensor Parallelism (TP)
Ai o întrebare despre Paralelism de Modele: Pipeline Parallelism (PP) și Tensor Parallelism (TP) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.