Nou Generator de prompt AI — scrie prompturi mai bune pentru ChatGPT, Claude și Gemini →
dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Rotary Position Embeddings (RoPE): Formula Matematică a Rotației Vectoriale?

Arhitectură și Mecanisme de Atenție RoPE / Su et al. Q&A AI / Distribuie cod

Codificarea poziției relative a tokenilor prin rotirea vectorilor Query și Key în planul complex.

Denumire completă

q_rot = (q * cos_m) + (rotate_half(q) * sin_m)

RoPE combină avantajele pozițiilor absolute cu cele relative: injectează informația spațială prin înmulțirea fiecărei perechi de dimensiuni vectoriale cu o matrice ortogonală de rotație 2D bazată pe frecvențe sinusoidale.

Efect matematic direct

Produsul scalar dintre Query la poziția m și Key la poziția n depinde strict de distanța relativă (m - n):
 = g(q, k, m - n)

Permite extrapolarea naturală a lungimii de context mult dincolo de dimensiunea văzută la antrenare.

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Rotary Position Embeddings (RoPE): Formula Matematică a Rotației Vectoriale

Ai o întrebare despre Rotary Position Embeddings (RoPE): Formula Matematică a Rotației Vectoriale sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.