dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Tehnica YaRN (Yet another RoPE extensioN): Scalarea Contextului la 128k+ fără Re-antrenare Masivă?

Arhitectură și Mecanisme de Atenție YaRN / Llama 3+ Q&A AI / Distribuie cod

Ajustarea frecvențelor RoPE prin interpolare și extrapolare diferențiată pe benzi de frecvență.

Denumire completă

rope_scaling = {'type': 'yarn', 'factor': 4.0, 'original_max_position_embeddings': 8192}

YaRN rezolvă problema pierderii atenției la extinderea contextului: frecvențele înalte (detalii locale) sunt extrapolate, iar frecvențele joase (informație globală de lungă distanță) sunt interpolate cu factor de corecție de temperatură.

Configurație Hugging Face

{
  "rope_scaling": {
    "type": "yarn",
    "factor": 8.0,
    "original_max_position_embeddings": 4096,
    "finetuned": true
  }
}

Permite unui model antrenat inițial pe 4k tokeni să proceseze cărți întregi de 32k-128k tokeni cu doar câteva sute de pași de fine-tuning.

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Tehnica YaRN (Yet another RoPE extensioN): Scalarea Contextului la 128k+ fără Re-antrenare Masivă

Ai o întrebare despre Tehnica YaRN (Yet another RoPE extensioN): Scalarea Contextului la 128k+ fără Re-antrenare Masivă sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.