Pentru o fereastră de context de 128k tokeni, un model clasic de 70B consumă zeci de gigaocteți de memorie doar pentru istoricul conversației. MLA reduce acest necesar la o fracțiune minoră.
Comparație pe o sesiune de 128k tokeni
- Llama 3.1 70B (GQA): ~18 GB VRAM per sesiune utilizator.
- DeepSeek-V3 671B (MLA): ~1.2 GB VRAM per sesiune utilizator.Explicația inginerească din spatele rentabilității economice imbatabile a DeepSeek.
Întrebări & Exemple practice:
Reducerea cu 93% a Amprentei Memoriei KV-Cache prin Arhitectura MLAAi o întrebare despre Reducerea cu 93% a Amprentei Memoriei KV-Cache prin Arhitectura MLA sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.