dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
DEEPSEEK Toate comenzile DeepSeek (V4 & R1)

Rularea DeepSeek 671B pe PC Desktop cu ktransformers și RAM CPU în DeepSeek (V4 & R1)

Distilare și Eficiență ktransformers 0.2+ Q&A AI / Distribuie cod

Descărcarea experților MoE inactivi în memoria RAM a computerului și transferul pe GPU doar la nevoie.

Sintaxă & invocare 
ktransformers --model_path deepseek-v3-gguf --optimize_rule rules.yaml

Deoarece un token activează doar 37B de parametri, ktransformers păstrează toți cei 671B în memoria RAM normală a PC-ului (512GB DDR5) și trimite pe placa video doar experții selectați.

Cerințe hardware desktop

- O singură placă video: RTX 4090 (24GB VRAM) pentru calculele de atenție.
- Memorie RAM sistem: 512GB DDR5 pentru stocarea experților cuantizați în Q4_K_M.
- Viteză de generare: 10-14 tokeni pe secundă pe un computer personal!

Face posibilă rularea celui mai inteligent model din lume pe o stație de lucru individuală.

Învață AI • Comunitate & Q&A

Întrebări & Exemple practice: Rularea DeepSeek 671B pe PC Desktop cu ktransformers și RAM CPU

Ai o întrebare despre Rularea DeepSeek 671B pe PC Desktop cu ktransformers și RAM CPU sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.