Încărcarea Modelelor Qwen 2.5 (0.5B, 7B, 14B) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Seria Qwen 2.5 dezvoltată de Alibaba Cloud oferă unele dintre cele mai puternice performanțe de sinteză de cod și raționament logic. Unsloth oferă versiuni pre-cuantizate pentru toate dimensiunile: 0.5B, 1.5B, 3B, 7B, 14B și 72B.

from unsloth import FastLanguageModel

# Qwen 2.5 7B este ideal pentru sarcini de codare și asistenți tehnici
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Qwen2.5-7B-bnb-4bit",
    max_seq_length=4096,
    load_in_4bit=True,
)

Modelul suportă nativ fereastră mare de context și structuri complexe de date JSON/XML.