Încărcarea Modelelor Cuantizate pe 4 Biți (QLoRA 4-bit) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Parametrul load_in_4bit=True activează cuantizarea NormalFloat4 (NF4) dezvoltată în lucrarea QLoRA. Aceasta comprimă un model de 8 miliarde de parametri de la ~16 GB la doar ~5.5 GB VRAM, păstrând peste 99% din calitatea raționamentului original.

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Meta-Llama-3.1-8B-bnb-4bit",
    max_seq_length=2048,
    dtype=None,            # Detectează automat Float16 sau BFloat16
    load_in_4bit=True,     # Cuantizare 4-bit activată
)

print(f"Modelul {model.config.name_or_path} a fost încărcat pe 4 biți!")

Unsloth re-implementează operațiile de de-cuantizare în nuclee fuzionate Triton, eliminând penalizarea de viteză specifică rulării pe 4 biți din alte librării.