În modelele de tip Mixture of Experts (MoE) (Mixtral, DeepSeek-V3), o rețea de rutare (Router / Gating Network) alege cei mai buni experți pentru fiecare token. Fără o pierdere auxiliară de echilibrare (Router Auxiliary Loss), rețeaua tinde să supraîncarce 1-2 experți favoriți, lăsându-i pe ceilalți inactivi (Expert Collapse).
Mecanismul de echilibrare a încărcării:
1. f_i: proporția de tokeni direcționați către expertul i.
2. P_i: probabilitatea medie atribuită de router expertului i.
3. Pierderea auxiliară penalizează produsul scalar sum(f_i * P_i) atunci când distribuția
nu este uniformă, forțând routerul să împartă sarcinile egal între toți experții disponibili.
Expert Capacity: Dacă un expert atinge limita maximă de procesare într-un lot,
tokenii suplimentari ocolesc expertul respectiv pentru a preveni blocarea conductei paralele.DeepSeek MoE: Utilizează experți partajați (Shared Experts) permanenți alături de experți specializați dinamici pentru a asigura atât cunoștințe generale cât și finețe tehnică.
Întrebări & Discuții: Load Balancing și Router Loss în MoE: Distribuția Echilibrată a Experților
Ai o întrebare despre Load Balancing și Router Loss în MoE: Distribuția Echilibrată a Experților sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.