În rețelele de tip Mixture of Experts (MoE), rutarea naivă a tokenilor tinde să supraîncarce un număr mic de experți populari, lăsând restul neutilizați. Soluția tradițională din industrie adaugă o pierdere auxiliară (Auxiliary Loss) în funcția de optimizare, forțând modelul să echilibreze experții, însă acest lucru degradează direct acuratețea lingvistică.
DeepSeek-V3 introduce mecanismul Auxiliary-Loss-Free Load Balancing: routerul învață un termen de bias adaptiv independent per expert, actualizat dinamic în timpul antrenării pe baza gradului de ocupare real al fiecărui expert:
# Scor de rutare cu termen de compensare a sarcinii (Bias)
# e_i = vectorul de afinitate al expertului, b_i = bias de încărcare
routing_score = top_k(softmax(token @ e_i + bias_i), k=8)
# Dacă un expert primește prea mulți tokeni, bias-ul său scade automat,
# fără a introduce zgomot în gradientele principale de backpropagation!Rezultatul este o distribuție uniformă a calculului pe toate acceleratoarele fără nicio scădere de performanță pe benchmark-uri.
Întrebări & Exemple practice:
Echilibrarea MoE Fără Auxiliary Loss (Auxiliary-Loss-Free Balancing)Ai o întrebare despre Echilibrarea MoE Fără Auxiliary Loss (Auxiliary-Loss-Free Balancing) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.