Până de curând, rularea unui model MoE de 671B necesita un cluster dedicat de cel puțin 8 plăci grafice profesionale H100 (în valoare de peste 300.000$). Proiectul KTransformers schimbă această realitate prin offloading avansat CPU/GPU:
- Ponderile dense și atenția MLA sunt ținute în memoria VRAM rapidă a GPU-ului (ex: 24GB pe RTX 4090).
- Cei 256 de experți MoE cuantizați pe 2 biți sau 4 biți sunt stocați în memoria RAM de sistem (necesită 384GB – 512GB DDR5).
- La fiecare token, sunt activați și transferați doar cei 8 experți necesari utilizând instrucțiuni CPU AVX-512 și kerneluri C++ personalizate.
# Lansare KTransformers pentru DeepSeek-V3
python3 -m ktransformers.local_chat --model_path /modele/DeepSeek-V3-GGUF --gguf_path /modele/DeepSeek-V3-GGUF --max_new_tokens 1000 --cpu_infer 32Această arhitectură atinge viteze practice de 10-15 tokeni pe secundă pe o singură stație grafică desktop.
Întrebări & Exemple practice:
Rularea DeepSeek 671B pe Hardware Modest cu KTransformersAi o întrebare despre Rularea DeepSeek 671B pe Hardware Modest cu KTransformers sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.