LoraConfig stabilește hiperparametrii tehnicii Low-Rank Adaptation (LoRA), izolând matricele de adaptare de greutățile originale înghețate ale modelului.
Exemplu de utilizare
from peft import LoraConfig, TaskType
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type=TaskType.CAUSAL_LM
)Raportul lora_alpha / r definește factorul constant de scalare al gradientelor aplicate straturilor de atenție.
Întrebări & Exemple practice:
Clasa LoraConfig în PEFT: Parametri Atomici pentru Fine-Tuning cu Adaptori LoRAAi o întrebare despre Clasa LoraConfig în PEFT: Parametri Atomici pentru Fine-Tuning cu Adaptori LoRA sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.