Echipa DeepSeek recomandă oficial framework-ul SGLang pentru servirea la scară a modelelor V3 și R1. SGLang implementează tehnologia RadixAttention, care organizează memoria cache KV într-un arbore radix, permițând partajarea instantanee a prefixelor de prompt între cereri diferite.
# Lansare server SGLang cu optimizări speciale DeepSeek
python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V3 --tp 8 --enable-ep-moe --mem-fraction-static 0.9 --port 30000Opțiunea --enable-ep-moe activează Expert Parallelism, optimizând comunicațiile collective pe magistralele de rețea InfiniBand.
Întrebări & Exemple practice:
Optimizarea Inferenței DeepSeek cu SGLang și RadixAttentionAi o întrebare despre Optimizarea Inferenței DeepSeek cu SGLang și RadixAttention sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.