Lucrarea originală LoRA adapta doar matricile de proiecție a atenției (q_proj și v_proj). În LLM-urile moderne, aplicarea LoRA pe toate straturile liniare (atenție + MLP) crește calitatea adaptării de peste două ori.
# Lista completă a straturilor liniare pentru arhitecturile stil Llama / Mistral / Qwen:
target_modules = [
"q_proj", # Query projection
"k_proj", # Key projection
"v_proj", # Value projection
"o_proj", # Output projection
"gate_proj", # MLP Gate
"up_proj", # MLP Up
"down_proj", # MLP Down
]
print(f"Număr straturi țintite per bloc Transformer: {len(target_modules)}")Unsloth gestionează aceste straturi simultan fără overhead suplimentar de memorie datorită fuziunii operațiilor.
Întrebări & Exemple practice:
Țintirea Tuturor Straturilor Liniare (All-Linear Modules)Ai o întrebare despre Țintirea Tuturor Straturilor Liniare (All-Linear Modules) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.