DualPipe: Paralelizare Bidirecțională a Pipeline-ului și Suprapunere de Comunicație în DeepSeek (V4 & R1)

Antrenarea modelelor cu sute de miliarde de parametri impune fragmentarea straturilor pe zeci de noduri (Pipeline Parallelism). În algoritmii tradiționali (1F1B), nodurile petrec o fracțiune semnificativă de timp în așteptare pasivă (Pipeline Bubble) în timpul transferurilor de rețea.

Echipa DeepSeek a dezvoltat DualPipe, o metodă de programare bidirecțională care lansează două fluxuri paralele de micro-loturi din direcții opuse (unul înainte și unul înapoi):

# În timp ce GPU-ul calculează backward pass pentru lotul A,
# el transferă asincron prin magistrala NVLink activările pentru lotul B:
with torch.cuda.stream(compute_stream):
    run_gemm_backward(batch_A)

with torch.cuda.stream(comm_stream):
    all_to_all_dispatch(batch_B_activations)
# Suprapunere de 100% a latenței de rețea cu timpul de calcul!

DualPipe reduce timpul mort (bubble ratio) al clusterului aproape la zero, maximizând coeficientul MFU (Model Flops Utilization).