Un model MoE (precum Mixtral 8x7B) are 47 miliarde de parametri în total, dar pentru fiecare token calculează doar 13 miliarde de parametri activi. O rețea de tip Router atribuie tokenul celor mai potriviți 2 experți din 8.
Formula de rutare
# Calcul scoruri de relevanță per expert
gate_logits = token_embedding @ router_weights
weights, indices = torch.topk(torch.softmax(gate_logits, dim=-1), k=2)
# Ieșirea este suma ponderată a răspunsurilor celor 2 experți selectați
output = sum(w * expert[idx](token_embedding) for w, idx in zip(weights, indices))Atinge performanțe de model uriaș cu latența și costul computațional al unui model mediu.
Întrebări & Discuții: Arhitectura Mixture of Experts (MoE): Rutarea Dinamică Top-2 către Experți Specializați
Ai o întrebare despre Arhitectura Mixture of Experts (MoE): Rutarea Dinamică Top-2 către Experți Specializați sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.