dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Multi-Query Attention (MQA): Un Singur Cap Key-Value pentru Viteză Extremă?

Arhitectură și Mecanisme de Atenție Falcon / PaLM Q&A AI / Distribuie cod

Toate capetele Query citesc exact aceeași proiecție Key și Value, micșorând la minimum transferurile de date din VRAM.

Denumire completă

num_attention_heads = 32 num_key_value_heads = 1 # Un singur cap comun (MQA)

MQA reprezintă cazul extrem al GQA: există zeci de capete Query, dar un singur cap comun pentru Key și Value. La fiecare token generat se transferă o cantitate minusculă de date din memorie.

Beneficiu la inferență concurentă

Permite creșterea dimensiunii batch-ului de 10-20 de ori pe același server de producție.

Utilizat frecvent în modelele optimizate pentru latență ultra-redusă în completare de cod.

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Multi-Query Attention (MQA): Un Singur Cap Key-Value pentru Viteză Extremă

Ai o întrebare despre Multi-Query Attention (MQA): Un Singur Cap Key-Value pentru Viteză Extremă sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.