Dacă aplicăm codificarea pozițională rotativă (Rotary Position Embedding – RoPE) direct peste vectorii de chei și interogări înainte de compresia latentă, proprietatea de asociativitate a multiplicării matriciale este distrusă, împiedicând fuzionarea ponderilor la inferență.
DeepSeek rezolvă această provocare matematică prin Decoupled RoPE: descompune fiecare cap de atenție în două componente independente:
- Componenta de Conținut: Comprimată prin matricea de proiecție latentă, neafectată de poziție.
- Componenta Pozițională: Un vector scurt dedicat (ex: 64 dimensiuni) peste care se aplică exclusiv rotația RoPE.
# Atenția finală combină scorul de conținut cu scorul de poziție
# Score = (q_content @ k_content.T) + (q_rope @ k_rope.T)
q_total = torch.cat([q_content, q_rope], dim=-1)
k_total = torch.cat([k_content, k_rope], dim=-1)
attn_weights = (q_total @ k_total.transpose(-2, -1)) / math.sqrt(d_head)Această decuplare permite absorbția completă a matricilor de decodare în greutățile de proiecție la inferență, păstrând o viteză extremă de execuție.
Întrebări & Exemple practice:
Decoupled RoPE: Integrarea Pozițională Fără Compromiterea Compresiei MLAAi o întrebare despre Decoupled RoPE: Integrarea Pozițională Fără Compromiterea Compresiei MLA sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.