În arhitecturile de producție, performanța se evaluează pe baza a două metrici fundamentale:
- Time To First Token (TTFT): Timpul scurs de la trimiterea cererii până la recepționarea primului caracter (critic pentru percepția utilizatorului).
- Time Per Output Token (TPOT): Viteza de generare a fiecărui token ulterior (recomandat peste 30-50 tokeni/secundă pentru citire confortabilă).
# Rularea unui test de sarcină pe serverul DeepSeek cu 50 utilizatori concurenți
python3 benchmark_serving.py --backend vllm --model deepseek-ai/DeepSeek-V3 --num-prompts 500 --request-rate 20 --save-resultIdentificarea blocajelor hardware permite dimensionarea corectă a clusterului de servere.
Întrebări & Exemple practice:
Măsurarea Latenței TTFT și a Throughput-ului în Tokeni/SecundăAi o întrebare despre Măsurarea Latenței TTFT și a Throughput-ului în Tokeni/Secundă sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.