Echipa DeepSeek a publicat nu doar modelul masiv de 671B, ci și o suită completă de modele distilate (DeepSeek-R1-Distill) bazate pe Qwen și Llama (1.5B, 7B, 8B, 14B, 32B și 70B). Aceste modele compacte au fost antrenate pe 800.000 de mostre de raționament extrase din R1 și oferă performanțe uimitoare pe hardware accesibil.
Pentru utilizatorii individuali cu calculatoare personale sau laptopuri Mac, modelele de 7B, 8B și 14B pot fi rulate instantaneu prin Ollama sau LM Studio în cuantizări GGUF (Q4_K_M) pe plăci grafice cu 8-16 GB VRAM sau procesoare Apple Silicon.
Pentru entuziaștii și companiile care doresc să ruleze modelul complet de 671B pe stații de lucru fără a cumpăra un cluster de 8x H100, framework-ul KTransformers permite rularea mixtă: experții MoE sunt stocați pe SSD NVMe ultra-rapid și încărcați în RAM-ul de sistem (CPU), în timp ce nucleul dens de atenție MLA rulează pe un singur GPU (cum ar fi RTX 4090), atingând viteze practice de 12-15 tokeni/secundă.
Sintaxă, opțiuni și concepte cheie
| Opțiune / Concept | Descriere practică |
|---|---|
deepseek-r1:7b / 8b |
Variantele optime pentru laptopuri și plăci video consumer cu 6-8 GB VRAM. |
deepseek-r1:14b |
Punctul ideal între viteză și inteligență logică profundă (necesită ~10-12 GB VRAM). |
deepseek-r1:32b |
Performanțe apropiate de OpenAI o1-mini pe hardware de 24 GB VRAM (RTX 3090/4090). |
KTransformers Offload |
Mecanismul hibrid ce combină CPU RAM + NVMe + GPU pentru servirea modelului complet de 671B. |
Exemple practice și cod
Exemplul 1: Rularea versiunii DeepSeek-R1 14B în terminal prin Ollama
Comenzile rapide de descărcare și pornire pe un calculator local.
# 1. Descărcăm și lansăm modelul distilat de 14B (Qwen):
$ ollama run deepseek-r1:14b
# 2. Interogare în terminal:
>>> Rezolvă ecuația: 2x^2 + 5x - 3 = 0 și explică pașii.
Identificăm coeficienții ecuației de gradul al doilea: a = 2, b = 5, c = -3.
Calculăm discriminantul: Delta = b^2 - 4ac = 25 - 4(2)(-3) = 25 + 24 = 49.
Deoarece Delta > 0, avem două rădăcini reale distincte.
x = (-b +/- sqrt(Delta)) / (2a) = (-5 +/- 7) / 4.
x1 = (-5 + 7) / 4 = 2 / 4 = 0.5
x2 = (-5 - 7) / 4 = -12 / 4 = -3.
Verificare: 2(0.5)^2 + 5(0.5) - 3 = 2(0.25) + 2.5 - 3 = 0.5 + 2.5 - 3 = 0. Corect.
Soluțiile ecuației sunt **x₁ = 0.5** (sau 1/2) și **x₂ = -3**.Rezultat & Impact
Inferență locală rapidă cu raționament complet vizibil în terminal.Greșeli frecvente și bune practici
- Descărcarea modelului complet ne-distilat `deepseek-r1` (671B) pe calculatoare cu 16-32 GB RAM, ceea ce blochează complet sistemul de operare prin epuizarea memoriei swap.
- Folosirea de cuantizări extreme (sub Q3) pe modelele mici (1.5B/7B), ceea ce distruge logica de raționament intern.