Mixture-of-Depths (MoD), tehnică dezvoltată de Google DeepMind, optimizează eficiența de calcul alocând dinamic adâncimea rețelei: tokenii simpli (precum spații, virgule sau cuvinte previzibile) sar peste anumite straturi de calcul, în timp ce tokenii complecși trec prin toate straturile profunde.
Mecanismul MoD:
- Un mecanism router de clasare selectează un procent fix (ex: 50%) dintre cei mai critici tokeni
dintr-un bloc pentru a fi procesați prin blocurile Self-Attention și MLP.
- Restul de 50% de tokeni ocolesc blocul de calcul prin conexiunea reziduală (Skip Connection).
- Modelul atinge aceeași performanță logică ca un model standard, dar consumă cu 50% mai puține operațiuni FLOPs!Complementar cu MoE: MoE împarte lățimea modelului (experți), în timp ce MoD optimizează adâncimea (straturile).
Întrebări & Discuții: Mixture-of-Depths (MoD) în LLM: Alocarea Dinamică a Calculului per Token
Ai o întrebare despre Mixture-of-Depths (MoD) în LLM: Alocarea Dinamică a Calculului per Token sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.