Studiile lingvistice arată că pauza naturală între replici în conversațiile umane este de aproximativ 200ms – 300ms. Depășirea a 700ms creează o senzație de disconfort și întrerupere:
Repartizarea optimă a bugetului de 500ms:
- Detecție tăcere (VAD Endpointing): 100ms - 200ms
- Transcriere parțială (Streaming STT): 50ms - 100ms
- Latență prim token LLM (Time to First Token): 100ms - 150ms
- Generare prim calup audio (TTS First Chunk): 50ms - 80ms
- Buffer de redare rețea (Jitter Buffer): 20ms - 40ms
Fiecare etapă trebuie să înceapă streamingul înainte ca etapa anterioară să se fi finalizat complet.
Întrebări & Exemple practice:
Bugetul de Latență în Conversații Naturale (Pragul de 300-500ms)Ai o întrebare despre Bugetul de Latență în Conversații Naturale (Pragul de 300-500ms) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.