Grouped-Query Attention (GQA) și Multi-Query Attention (MQA) sunt optimizări arhitecturale majore ale mecanismului de atenție Transformer, concepute pentru a reduce consumul masiv de memorie video (VRAM) generat de stocarea matricelor Key și Value în timpul inferenței.
# Comparație între variantele de atenție:
# 1. Multi-Head Attention (MHA - GPT-3):
# Fiecare cap de atenție Query are propriul său cap de Key și Value. (Raport 1:1)
# 2. Multi-Query Attention (MQA - PaLM, Falcon):
# Toate capetele Query partajează o SINGURĂ pereche comună de Key și Value. (Raport N:1)
# 3. Grouped-Query Attention (GQA - LLaMA 2/3, Mistral):
# Capetele Query sunt împărțite în grupuri (ex: 8 grupuri), fiecare grup partajând o pereche K-V.
# Exemplu de configurare în HuggingFace Transformers (LLaMA 3 8B):
# num_attention_heads = 32
# num_key_value_heads = 8 (reducere de 4x a dimensiunii KV Cache!)Compromis optimal: GQA oferă o viteză de inferență comparabilă cu MQA, păstrând în același timp calitatea lingvistică superioară a MHA-ului clasic.
Întrebări & Discuții: GQA și MQA în LLM: Grouped-Query și Multi-Query Attention pentru KV Cache
Ai o întrebare despre GQA și MQA în LLM: Grouped-Query și Multi-Query Attention pentru KV Cache sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.