dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Mecanismul de Cross-Attention: Interconectarea Reprezentărilor de Intrare și Ieșire?

Arhitectură și Mecanisme de Atenție Transformer Original (Vaswani et al.) Q&A AI / Distribuie cod

Atenția în care Query-ul provine din decoder, iar Key și Value provin din reprezentarea latentă a encoderului.

Denumire completă

cross_attn = Softmax((Q_decoder @ K_encoder.T) / sqrt(d)) @ V_encoder

În modelele Encoder-Decoder (ex: T5, Whisper, FLAN), Cross-Attention permite fiecărui token generat să consulte și să ponderizeze întreaga secvență de intrare (audio sau text).

Formula matematică

Q = X_dec @ W_q
K = X_enc @ W_k
V = X_enc @ W_v
CrossAttn = Softmax(Q * K^T / sqrt(d_k)) * V

Asigură alinierea perfectă între limba sursă și limba țintă în sarcinile de traducere.

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Mecanismul de Cross-Attention: Interconectarea Reprezentărilor de Intrare și Ieșire

Ai o întrebare despre Mecanismul de Cross-Attention: Interconectarea Reprezentărilor de Intrare și Ieșire sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.