dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Mixture of Experts (MoE)?

Inferență, Parametri și Optimizare Nivel: avansat

Secretul vitezei modelelor gigant: o rețea de sub-modele specializate unde doar experții potriviți sunt consultați la fiecare cuvânt.

Denumire completă

Mixture of Experts (MoE) – arhitectură în care doar o fracțiune din totalul parametrilor este activată dinamic pentru fiecare token

Ce este

Într-un model dens clasic (precum Llama 3 70B), toți cei 70 de miliarde de parametri sunt calculați pentru fiecare token generat. În schimb, arhitectura Mixture of Experts (MoE) împarte straturile Feed-Forward în zeci de ‘experți’ independenți.

O rețea inteligentă de rutare (Router / Gating Network) analizează tokenul curent și activează doar 1 sau 2 experți potriviți din totalul disponibil, oferind capacitatea intelectuală a unui model uriaș la viteza și costul de calcul al unui model mic.

Analogia din viața reală

Gândește-te la o clinică medicală cu 64 de medici specialiști: cardiolog, dermatolog, neurolog, pediatru. Când intră un pacient cu o fractură, clinica nu convoacă toți cei 64 de doctori în salon; recepționera (routerul) îl trimite strict la ortoped și radiolog. Salvezi timp și resurse imense, păstrând în același timp accesul la expertiză de cel mai înalt nivel.

Cum funcționează tehnic

Total parametri (Sparse): modelul poate avea în total 500 de miliarde de parametri salvați pe disc.

Parametri activi: pentru fiecare token sunt rulați efectiv doar 30-40 de miliarde de parametri.

Routerul învață automat în pre-antrenare ce experți să activeze pe baza tiparelor din text (limbaj juridic, ecuații matematice, cod C++, dialog colocvial).

Exemple practice și aplicații

  • Mixtral 8x7B: are în total 47B parametri, dar folosește doar 13B parametri activi pe token, bătând modele dense mult mai mari.
  • DeepSeek-V3 / DeepSeek-R1: folosește o arhitectură Fine-Grained MoE cu sute de experți mici și experți partajați (shared experts).
  • Modelele proprietare din seria GPT-4 se bazează pe o arhitectură internă MoE masivă.

Greșeli frecvente sau mituri

Modelele MoE cer multă memorie RAM pentru a ține toți experții încărcați, dar sunt incomparabil mai rapide la generare decât un model dens de aceeași mărime totală.

Termeni înrudiți