vLLM integrează biblioteca bitsandbytes (bnb), permițând cuantizarea dinamică „din zbor” (on-the-fly) a oricărui model Hugging Face standard pe 4 biți (NF4 / FP4) direct la încărcare în memorie, fără a necesita descărcarea unor ponderi pre-cuantizate separat.
# Încărcare model complet și compresie automată în NF4:
vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct --quantization bitsandbytesAccesibilitate: Permite rularea oricărui model recent pe GPU-uri cu doar 8-12 GB VRAM.
Întrebări & Exemple practice:
Suport BitsAndBytes (–quantization bitsandbytes) pentru Încărcare în 4 BițiAi o întrebare despre Suport BitsAndBytes (–quantization bitsandbytes) pentru Încărcare în 4 Biți sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.