Obiectul BitsAndBytesConfig definește parametrii de compresie ai greutăților pentru reducerea drastică a memoriei VRAM, permițând antrenarea QLoRA pe GPU-uri de nivel desktop (ex: RTX 3090 / 4090).
Exemplu de utilizare
import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained(
"mistralai/Mistral-7B-Instruct-v0.3",
quantization_config=bnb_config,
device_map="auto"
)Tipul nf4 (NormalFloat4) oferă o densitate de informație superioară reprezentării standard FP4.
Întrebări & Exemple practice:
BitsAndBytesConfig în Transformers: Cuantizare Precisă 4-bit și 8-bit cu QLoRAAi o întrebare despre BitsAndBytesConfig în Transformers: Cuantizare Precisă 4-bit și 8-bit cu QLoRA sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.