Inițializarea LoFTQ peste Ponderi Cuantizate în Unsloth: Fine-Tuning LLM & Eficiență VRAM

LoFTQ (LoRA-Fine-Tuning-aware Quantization) rezolvă problema decalajului dintre modelul complet pe 16 biți și cel cuantizat pe 4 biți prin calcularea unor valori inițiale nenule pentru matricile LoRA prin descompunere în valori singulare (SVD).

# LoFTQ este util atunci când cuantizarea standard produce pierderi sesizabile
# În marea majoritate a cazurilor, QLoRA NF4 din Unsloth este suficient fără overhead-ul SVD
loftq_config = None

Această opțiune avansată este disponibilă pentru proiecte de înaltă precizie pe modele mici (1B sau 3B).