Rularea locală a modelelor DeepSeek: R1, distilatele, V3.1 și V4 în DeepSeek (V4 & R1): explicație și exemple

Odată cu R1, DeepSeek a publicat șase modele dense distilate: DeepSeek-R1-Distill-Qwen-1.5B și -Qwen-7B (din Qwen2.5-Math), -Llama-8B (din Llama-3.1-8B), -Qwen-14B și -Qwen-32B (din Qwen2.5), -Llama-70B (din Llama-3.3-70B-Instruct). Au fost ajustate pe cele circa 800k exemple generate cu R1; fișa modelului spune că R1-Distill-Qwen-32B depășește OpenAI o1-mini pe mai multe benchmark-uri. În mai 2025 a apărut și DeepSeek-R1-0528-Qwen3-8B. Licența unui model distilat ține și de modelul de bază (Apache 2.0 la Qwen2.5, licențele Llama 3.1 / 3.3 la Llama).

În biblioteca Ollama, deepseek-r1 are etichetele 1.5b, 7b, 8b, 14b, 32b, 70b și 671b, toate cuantizate implicit q4_K_M. latest și 8b sunt acum DeepSeek-R1-0528-Qwen3-8B, iar 671b este R1-0528 complet. Descărcările au (octombrie 2026) 1,1 GB (1.5b), 4,7 GB (7b), 5,2 GB (8b), 9,0 GB (14b), 20 GB (32b), 43 GB (70b) și 404 GB (671b). Ollama mai are deepseek-v3.1 (671B, 404 GB), iar deepseek-v4-pro și deepseek-v4.1-flash doar ca modele :cloud, rulate pe serverele Ollama. Raționamentul apare separat, în câmpul thinking, iar în ollama run se controlează cu --think și --hidethinking.

Modelele mari se servesc cu motoare de inferență pe mai multe GPU-uri. README-ul DeepSeek-V3, la care trimite și fișa R1, listează SGLang, LMDeploy, TensorRT-LLM, vLLM și demo-ul DeepSeek-Infer, plus suport pentru GPU-uri AMD și Huawei Ascend; ponderile sunt publicate în FP8. Pentru modelele distilate, fișa R1 dă un exemplu cu vllm serve, iar vLLM extrage raționamentul cu --reasoning-parser deepseek_r1 (pentru V3.1: deepseek_v3). DeepSeek-V4 și V4.1-Flash nu au șablon Jinja de chat: fișele trimit la directorul encoding (cod Python de referință) și la inference pentru conversia ponderilor; V4 are ponderi mixte, FP4 pentru experți și FP8 în rest.

Concepte cheie și caracteristici

Concept / Parametru	Descriere practică
`deepseek-r1:1.5b / 7b`	R1-Distill-Qwen-1.5B / 7B (din Qwen2.5-Math): 1,1 GB / 4,7 GB în Ollama.
`deepseek-r1:8b (latest)`	DeepSeek-R1-0528-Qwen3-8B: 5,2 GB. Distilatul Llama-8B are eticheta `8b-llama-distill-q4_K_M`.
`deepseek-r1:14b / 32b`	R1-Distill-Qwen-14B / 32B: 9,0 GB / 20 GB.
`deepseek-r1:70b`	R1-Distill-Llama-70B: 43 GB.
`deepseek-r1:671b`	R1-0528 complet: 404 GB, context de 160K în Ollama.
`deepseek-v4-pro:cloud / deepseek-v4.1-flash:cloud`	Rulate în cloud-ul Ollama, nu pe calculatorul tău; cer autentificare în Ollama.
`--think / --hidethinking`	În `ollama run`: pornește sau oprește raționamentul / ascunde textul lui.
`--reasoning-parser deepseek_r1`	În vLLM: pune raționamentul într-un câmp separat al răspunsului (`reasoning`).
`temperatura 0,6, fără prompt de sistem`	Recomandările din fișa R1 pentru seria R1, inclusiv modelele distilate.

Exemple practice și scenarii reale

Exemplul 1: Un model distilat în Ollama

ollama pull deepseek-r1:14b
ollama run deepseek-r1:14b "Rezolvă ecuația 2x^2 + 5x - 3 = 0 și explică pașii."
ollama run deepseek-r1:14b --hidethinking "Aceeași întrebare, fără textul de gândire."

Exemplul 2: Raționamentul separat, prin biblioteca Python ollama

from ollama import chat

response = chat(
    model="deepseek-r1:14b",
    messages=[{"role": "user", "content": "Câte litere r are cuvântul strawberry?"}],
    think=True,
)
print(response.message.thinking)   # raționamentul
print(response.message.content)    # răspunsul

Exemplul 3: Server compatibil OpenAI cu vLLM

Comanda din fișa modelului R1 (două GPU-uri, context de 32K), cu parserul de raționament din documentația vLLM.

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
    --tensor-parallel-size 2 \
    --max-model-len 32768 \
    --enforce-eager \
    --reasoning-parser deepseek_r1

Greșeli frecvente și capcane

Descarci deepseek-r1:671b pe un calculator obișnuit. Modelul are 404 GB chiar cuantizat q4_K_M; pentru hardware de consum alege un model distilat.
Confunzi modelele distilate cu R1. Sunt modele dense Qwen sau Llama ajustate pe date generate de R1, nu modelul MoE de 671B.
Pui instrucțiunile în promptul de sistem sau temperatura 0. Fișa R1 recomandă totul în mesajul utilizatorului și temperatura 0,5–0,7, ca să eviți repetițiile.
Aștepți o descărcare cu ollama run deepseek-v4-pro. În biblioteca Ollama, modelele V4 sunt doar :cloud; local, ponderile V4 se rulează prin codul din repository-urile DeepSeek sau prin motoare de inferență.

`Rularea locală a modelelor DeepSeek: R1, distilatele, V3.1 și V4` în DeepSeek (V4 & R1)