Arhitectura Mamba și modelele de spațiu de stări (SSM – State Space Models) înlocuiesc mecanismul de auto-atenție pătratic $O(N^2)$ din Transformers cu o recurență selectivă liniară $O(N)$, eliminând complet memoria KV Cache la inferență.
Comparație Transformer vs Mamba:
- Transformer: Fiecare token nou trebuie să compare similaritatea cu TOȚI tokenii precedenți.
Memoria KV Cache crește continuu proporțional cu lungimea contextului.
- Mamba / SSM: Comprimă tot contextul trecut într-o stare ascunsă de dimensiune fixă (Hidden State).
Inferența necesită o cantitate constantă de memorie RAM, indiferent dacă contextul
are 1.000 sau 1.000.000 de tokeni!Modele Hibride: Cele mai puternice modele actuale (ex: Jamba, Zamba) combină straturi alternative de Mamba cu straturi de Transformer pentru cel mai bun raport calitate/viteză.
Întrebări & Discuții: Arhitecturi SSM și Mamba în LLM: Alternativa Liniară la Atenția Pătratică
Ai o întrebare despre Arhitecturi SSM și Mamba în LLM: Alternativa Liniară la Atenția Pătratică sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.