Ce înseamnă Mixture of Experts (MoE)
Mixture of Experts (MoE, în română amestec de experți) este o arhitectură de rețea neuronală în care o parte a modelului este împărțită în mai multe sub-rețele numite experți. Pentru fiecare token procesat, un mecanism numit router alege doar câțiva experți potriviți, iar restul rămân inactivi.
Avantajul este că modelul poate avea un număr total uriaș de parametri, deci multe cunoștințe, dar folosește la fiecare pas doar o parte din ei, așa că este mult mai rapid și mai ieftin de rulat decât un model „dens” de aceeași mărime totală. De aceea se vorbește despre parametri totali și parametri activi.
Ideea vine din anii ’90, dar a devenit importantă pentru LLM-uri în ultimii ani. Mixtral 8x7B, lansat de Mistral AI în decembrie 2023, a făcut-o cunoscută publicului larg, iar multe modele mari actuale, inclusiv DeepSeek-V3, folosesc arhitecturi MoE.
Cum funcționează
Într-un transformer de tip MoE, stratul obișnuit de rețea neuronală din fiecare bloc este înlocuit cu mai mulți experți, de exemplu 8, 64 sau chiar peste 100. Router-ul, o rețea mică antrenată împreună cu restul modelului, dă fiecărui expert un scor pentru tokenul curent și trimite tokenul doar la primii câțiva (de exemplu, primii 2). Rezultatele lor sunt apoi combinate.
Experții nu sunt specializați pe teme clare, precum „istorie” sau „matematică”, cum s-ar putea crede; specializările apar automat la antrenare și sunt adesea greu de interpretat. Dezavantajul principal: deși calculul pentru fiecare token este redus, toți parametrii trebuie ținuți în memorie, așa că modelele MoE cer multă memorie video.
Pe înțelesul tuturor
Un model MoE seamănă cu un spital mare, cu zeci de medici specialiști. Pacientul nu este consultat de toți medicii, ci un medic de triaj îl trimite la doi-trei specialiști potriviți. Spitalul are multă expertiză în total, dar fiecare pacient consumă doar timpul câtorva medici.
Exemplu
Un model MoE poate avea, de exemplu, 600 de miliarde de parametri în total, dar doar aproximativ 40 de miliarde activi pentru fiecare token. Răspunde aproape la fel de repede ca un model dens de 40 de miliarde de parametri, dar are cunoștințele unui model mult mai mare. În schimb, ca să-l rulezi, ai nevoie de memorie pentru toți cei 600 de miliarde de parametri.
De reținut
- MoE împarte modelul în experți și activează doar câțiva pentru fiecare token.
- Parametrii totali dictează memoria necesară; parametrii activi dictează calculul pentru fiecare token.
- Este folosit de multe modele mari actuale pentru a combina capacitatea mare cu viteza.
Nu confunda
- Experți MoE vs. experți pe domenii: experții nu corespund unor discipline clare; router-ul învață singur cum să împartă munca.
- MoE vs. mai multe modele separate: MoE este un singur model, antrenat ca un întreg, nu o echipă de modele independente care votează.
Termeni înrudiți
- Transformer: Arhitectura de rețea neuronală, prezentată de Google în 2017, pe care sunt construite aproape toate modelele de limbaj actuale.
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Parametri (ponderi): Numerele învățate de un model în timpul antrenării, în care este stocat tot ce „știe” acesta; modelele mari au miliarde.
- DeepSeek: Companie chineză de AI ale cărei modele cu ponderi deschise, mai ales DeepSeek-R1 din 2025, au surprins prin performanță și eficiență.
- Mistral: Companie franceză fondată în 2023, cunoscută pentru modele de limbaj eficiente, multe cu ponderi deschise, și pentru asistentul Le Chat.
- Putere de calcul (compute): Cantitatea de calcule pe care o poate face hardware-ul; în AI, una dintre resursele de bază, alături de date și algoritmi.