Pentru a evita erorile de tip CUDA Out of Memory (OOM), este critică dimensionarea corectă a memoriei VRAM înainte de descărcarea modelelor:
- DeepSeek-R1-Distill-1.5B (Q4): Necesită 1.5 GB – 2 GB VRAM (rulează pe orice placă video sau telefon).
- DeepSeek-R1-Distill-8B (Q4): Necesită 5.5 GB – 8 GB VRAM (ideal pentru RTX 3060/4060).
- DeepSeek-R1-Distill-14B (Q4): Necesită 10 GB – 12 GB VRAM (rulează pe RTX 3060 12GB / RTX 4070).
- DeepSeek-R1-Distill-32B (Q4): Necesită 20 GB – 24 GB VRAM (rulează pe o singură placă RTX 3090/4090 sau Mac M1/M2/M3 cu 36GB RAM).
- DeepSeek-R1-Distill-70B (Q4): Necesită 42 GB – 48 GB VRAM (necesită 2x RTX 3090/4090 sau Mac cu 64GB Unified Memory).
- DeepSeek-V3 / R1 (671B – FP8): Necesită ~680 GB VRAM (necesită cluster de 8x H100 80GB sau 8x A100 80GB).
Adăugarea a 10-20% marjă de siguranță peste aceste valori este recomandată pentru alocarea dinamică a contextului KV Cache.
Întrebări & Exemple practice:
Ghid de Dimensionare a Memoriei VRAM pentru Modelele DeepSeekAi o întrebare despre Ghid de Dimensionare a Memoriei VRAM pentru Modelele DeepSeek sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.