În modelele tradiționale de tip Transformer (cum ar fi Llama sau GPT), faza de atenție multi-head (MHA) sau chiar Grouped-Query Attention (GQA) generează un consum uriaș de memorie pentru stocarea cheilor și valorilor (KV Cache), devenind blocajul principal la contexte lungi de 32k–128k tokeni.
Multi-Head Latent Attention (MLA) rezolvă această problemă printr-o abordare revoluționară: proiectează cheile și valorile într-un spațiu latent comprimat de dimensiuni reduse (Low-Rank Joint Compression). În loc să memoreze sute de gigabytes de tensori KV în memoria ultra-scumpă a plăcii video, serverul păstrează doar vectorul latent compact, reconstruind atenția ‘din zbor’ în momentul calculului.
Combinat cu arhitectura DeepSeekMoE — unde fiecare token activează doar 8 experți din totalul de 256 de experți disponibili, plus un expert partajat permanent — modelul DeepSeek-V3 oferă puterea unui colos de 671B parametri consumând resurse de calcul comparabile cu un model compact de 37B.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
Multi-Head Latent Attention (MLA) |
Mecanismul de atenție ce comprimă starea KV într-un vector latent compact, reducând memoria cache cu până la 93%. |
Sparse MoE (671B Total / 37B Activ) |
Arhitectura în care doar o mică fracțiune de experți este apelată pentru fiecare token generat. |
Shared Expert Isolation |
Păstrarea unui expert permanent activ ce capturează cunoștințele generale comune tuturor domeniilor. |
Load Balancing Loss-less |
Tehnica de rutare automată a cererilor către experți fără a fi necesari coeficienți auxiliari de penalizare. |
Exemple practice și cod
Exemplul 1: Comparație a dimensiunii memoriei KV Cache la 128k tokeni de context
Diferența de memorie VRAM necesară pentru un utilizator între MHA tradițional și MLA.
Comparație consum memorie KV Cache per utilizator (Context 128k tokeni):
1. Multi-Head Attention standard (MHA - ex. Llama 2):
• Dimensiune KV Cache: ~115 GB VRAM (imposibil pe un singur GPU)
2. Grouped-Query Attention (GQA - ex. Llama 3):
• Dimensiune KV Cache: ~14.4 GB VRAM
3. Multi-Head Latent Attention (MLA - DeepSeek-V3 / R1):
• Dimensiune KV Cache: doar 1.05 GB VRAM !
Impact: vLLM sau SGLang pot deservi de 10x mai mulți utilizatori concurenți pe același server GPU.Rezultat & Impact
Reducere de peste 90% a costurilor de infrastructură pentru servirea contextelor lungi.Greșeli frecvente și bune practici
- Confundarea numărului de parametri activi (37B) cu dimensiunea totală a modelului (671B); pentru a încărca modelul complet în memorie este nevoie de sute de gigabytes de RAM/VRAM, chiar dacă calculul per pas este rapid.
- Rularea pe motoare de inferență vechi care nu suportă nucleele dedicate de decodare MLA, forțând decompresia ineficientă a tensorilor.