dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Mixture of Experts (MoE)?

Inferență, Parametri și Optimizare Nivel: avansat

Arhitectură în care fiecare token trece doar prin câțiva dintre experții unui strat, deci modelul are mulți parametri în total, dar folosește puțini pentru fiecare token.

Denumire completă

Mixture of Experts (MoE) – arhitectură în care un router activează pentru fiecare token doar câțiva dintre mai mulți „experți” (rețele feed-forward)

Ce înseamnă Mixture of Experts (MoE)

Într-un model dens, ca Llama 3 70B, toți parametrii participă la calculul fiecărui token. Într-un model Mixture of Experts, rețeaua feed-forward din fiecare strat este înlocuită cu mai mulți experți, iar un router alege pentru fiecare token câțiva dintre ei.

Ideea a fost aplicată la rețele mari de Shazeer et al. (2017). Switch Transformer (2021) trimitea fiecare token la un singur expert; Mixtral 8x7B (Mistral AI, 2024) alege 2 din 8 experți pe strat.

Cum funcționează

Routerul calculează un scor pentru fiecare expert și îi selectează pe cei mai buni K. Ieșirile lor sunt combinate ponderat.

Costul de calcul pe token depinde de parametrii activi, dar memoria trebuie să țină toți parametrii.

Pe înțelesul tuturor

Un centru de calcul are zeci de echipe, dar fiecare cerere este preluată doar de două sau trei. Repartizarea nu urmează neapărat subiectul cererii, ci tipare pe care sistemul le-a învățat singur.

Exemplu

Mixtral 8x7B: 47B de parametri în total, 13B activi pe token; a egalat sau depășit Llama 2 70B și GPT-3.5 pe testele raportate.

DeepSeek-V3: 671B în total, 37B activi pe token, cu experți mici (fine-grained) și experți partajați (DeepSeekMoE).

Qwen3-235B-A22B: 128 de experți, 8 activi, 235B în total și 22B activi. gpt-oss-120b (OpenAI): 128 de experți, 4 activi pe token, 117B în total și 5,1B activi.

De reținut

  • Un model MoE e mai ieftin de rulat decât un model dens cu același număr total de parametri, dar cere la fel de multă memorie pentru ponderi.
  • Analiza Mixtral nu a găsit experți specializați pe domenii (ArXiv, biologie, filozofie); rutarea părea legată mai mult de sintaxă, iar tokenii consecutivi mergeau des la aceiași experți.

Nu confunda

  • Parametri totali vs. activi: „Qwen3-235B-A22B” înseamnă 235B în total și 22B activi pe token; viteza ține de cei activi, memoria de cei totali.

Termeni înrudiți

  • Rețele Feed-Forward (FFN): Sub-stratul din fiecare bloc Transformer care transformă separat vectorul fiecărui token și care conține aproximativ două treimi din parametri.
  • Arhitectura Transformer: Arhitectura de rețea neuronală bazată pe atenție, introdusă în 2017, pe care se construiesc modelele mari de limbaj actuale.
  • Cuantizarea Modelelor (Quantization): Reducerea preciziei numerice a ponderilor, de la 16 biți la 8, 4 sau mai puțini, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
  • Legile de scalare (Scaling Laws): Relațiile măsurate între mărimea modelului, cantitatea de date, calculul de antrenare și calitatea unui LLM, folosite pentru a planifica antrenarea.