Pentru a antrena eficient un model LLM fără a-i modifica toți cei 8 miliarde de parametri (ceea ce ar necesita zeci de gigabytes de VRAM pentru stocarea stărilor optimizatorului), Unsloth aplică tehnica LoRA (Low-Rank Adaptation) prin metoda get_peft_model.
from unsloth import FastLanguageModel
model = FastLanguageModel.get_peft_model(
model,
r=16, # Rangul LoRA (dimensiunea spațiului latent)
target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj"],
lora_alpha=16, # Factorul de scalare LoRA
lora_dropout=0, # Unsloth optimizează dropout-ul la 0
bias="none", # Nu antrenăm bias-urile
use_gradient_checkpointing="unsloth", # Salvează 30% VRAM suplimentar
random_state=3407,
)
# Afișarea numărului de parametri antrenabili (sub 1% din total)
model.print_trainable_parameters()Peste 99% din parametrii modelului rămân congelați în precizie de 4 biți, doar matricile mici de adaptare fiind actualizate prin backpropagation.
Întrebări & Exemple practice:
Aplicarea Adaptorilor LoRA cu FastLanguageModel.get_peft_modelAi o întrebare despre Aplicarea Adaptorilor LoRA cu FastLanguageModel.get_peft_model sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.