Încărcarea Modelului Mistral NeMo 12B în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Mistral NeMo 12B este un model de generație nouă antrenat cu tokenizerul Tekken, eficient pe limbi europene (inclusiv limba română), suportând o fereastră de context de până la 128.000 de tokeni.

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Mistral-Nemo-Instruct-2407-bnb-4bit",
    max_seq_length=4096,
    load_in_4bit=True,
)

Unsloth reduce amprenta VRAM a modelului Mistral NeMo la sub 9 GB, făcându-l accesibil pe plăci video consumer de 12 GB VRAM (ex: RTX 3060 / 4070).