Rutarea Dinamică pe Baza Afinității Experților în DeepSeekMoE în DeepSeek (V4 & R1)

Spre deosebire de modelele MoE cu experți voluminoși (ex: 8 experți de câte 14 miliarde de parametri), arhitectura DeepSeek utilizează o strategie de granularitate fină (Fine-Grained Segmentation): rețeaua conține până la 256 de experți mici, dintre care sunt activați 8 per token.

Afinitatea se calculează printr-o proiecție liniară urmată de o normalizare softmax ponderată:

# Calcul afinitate token-expert
affinity = torch.matmul(hidden_token, expert_embeddings.t())
top_experts = torch.topk(affinity, k=8, dim=-1)

# Ponderile sunt re-normalizate pentru a asigura conservarea energiei semnalului
normalized_weights = F.softmax(top_experts.values, dim=-1)

Această diversitate masivă permite activarea a peste 256 C 8 = 4.4 x 10^14 combinații posibile de sub-rețele neuronale pentru rezolvarea fiecărui token individual.