În modelele masive de limbaj cu ferestre de context lungi (128k tokeni), memoria tampon Key-Value (KV Cache) devine principalul blocaj de scalare, ocupând zeci de gigaocteți de memorie VRAM per sesiune concurentă. În timp ce soluțiile convenționale (MQA, GQA) comprimă numărul de capete de atenție sacrificând calitatea modelului, DeepSeek introduce Multi-Head Latent Attention (MLA).
MLA comprimă vectorii de chei și valori într-un spațiu latent de rang redus (Low-Rank Joint Compression):
# Compresie latentă a stării ascunse în MLA
# d_c este dimensiunea latentă comprimată (ex: 512), mult mai mică decât n_heads * d_head
c_KV = W_DKV @ hidden_state # Proiecție de compresie (stocată în cache!)
# La inferență, se stochează DOAR vectorul latent compact c_KV în VRAM,
# reducând memoria de ~14 ori față de Multi-Head Attention standard!Această compresie revoluționară permite servirea a mii de cereri simultane cu un context masiv pe o singură mașină GPU.
Întrebări & Exemple practice:
Multi-Head Latent Attention (MLA): Compresia Low-Rank a KV CacheAi o întrebare despre Multi-Head Latent Attention (MLA): Compresia Low-Rank a KV Cache sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.