Încărcarea Modelelor Distilate DeepSeek-R1 în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Modelele DeepSeek-R1 Distill (bazate pe arhitecturi Llama și Qwen) au fost antrenate pe urmele de gândire (chain-of-thought) generate de modelul mamă DeepSeek-R1 de 671 miliarde de parametri, excelând în rezolvarea problemelor pas cu pas.

from unsloth import FastLanguageModel

# Încărcare DeepSeek R1 distilat în Llama 8B
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/DeepSeek-R1-Distill-Llama-8B-bnb-4bit",
    max_seq_length=4096,
    load_in_4bit=True,
)

print("Modelul DeepSeek-R1 Distill este gata pentru adaptare pe date specializate!")

Aceste modele folosesc etichetele speciale <think> și </think> pentru a-și expune raționamentul înainte de formularea concluziei.