Transcrierea: AUDIO_STT_ENGINE lăsat gol rulează Whisper local în backend (faster_whisper, cuantizat int8), cu modelul din WHISPER_MODEL, implicit base; pe imaginea :cuda rulează pe GPU. Alternative: openai (orice API compatibil), deepgram, azure, mistral. În setările personale, fiecare utilizator poate alege pentru dictare și „Web API”, recunoașterea vocală a browserului. Imaginea :slim nu are Whisper local.
Sinteza: AUDIO_TTS_ENGINE gol înseamnă fără TTS pe server; browserul citește cu vocile proprii sau, la alegerea utilizatorului, cu Kokoro.js în browser. Motoarele de pe server sunt openai (API-ul OpenAI sau un server compatibil, de exemplu unul local), openai-realtime, elevenlabs, azure, mistral și transformers (local). Pentru OpenAI, modelul implicit este tts-1, iar vocea alloy. Un model din Workspace poate avea propria voce TTS.
Voice Mode: într-un chat cu un singur model și cu caseta de mesaj goală, butonul Voice mode ia locul butonului de trimitere. Vorbești, iar după aproximativ două secunde de liniște textul este transcris și trimis; răspunsul este citit propoziție cu propoziție, pe măsură ce apare. Camera sau partajarea ecranului atașează un cadru la fiecare mesaj. Administratorul alege în Settings > Admin > Audio > Voice calls între Standard (motoarele STT și TTS de mai sus) și Realtime (un model speech-to-speech prin API-ul OpenAI Realtime sau Azure OpenAI). Voice Mode nu este disponibil dacă motorul STT al administratorului este Web API.
Concepte cheie și caracteristici
| Concept / Parametru | Descriere practică |
|---|---|
AUDIO_STT_ENGINE |
Gol (Whisper local), openai, deepgram, azure, mistral. ConfigVar. |
WHISPER_MODEL |
Modelul Whisper local; implicit base. |
AUDIO_TTS_ENGINE |
Gol (doar browser), openai, openai-realtime, elevenlabs, azure, mistral, transformers. |
AUDIO_TTS_MODEL / AUDIO_TTS_VOICE |
Pentru OpenAI: implicit tts-1 și alloy. |
AUDIO_TTS_OPENAI_API_BASE_URL / AUDIO_TTS_OPENAI_API_KEY |
Serverul TTS compatibil OpenAI; implicit preiau OPENAI_API_BASE_URL și OPENAI_API_KEY. |
Web API |
Recunoașterea și vocile browserului, alese în setările personale. |
Voice calls |
Standard (implicit) sau Realtime. |
Response Splitting |
Cât se citește odată: Punctuation (implicit, câte o propoziție), Paragraphs, None. |
Allow Call |
Permisiunea care dă acces la Voice Mode utilizatorilor obișnuiți. |
Exemple practice și scenarii reale
Exemplul 1: Alt model Whisper local
-e WHISPER_MODEL=smallExemplul 2: TTS prin API-ul OpenAI
-e AUDIO_TTS_ENGINE=openai \
-e AUDIO_TTS_OPENAI_API_BASE_URL=https://api.openai.com/v1 \
-e AUDIO_TTS_OPENAI_API_KEY=sk-... \
-e AUDIO_TTS_MODEL=tts-1 \
-e AUDIO_TTS_VOICE=alloyExemplul 3: Voice Mode pornit dintr-un link
Parametrul adăugat la adresa unui chat cere confirmarea utilizatorului, apoi pornește apelul.
http://localhost:3000/c/ID_CHAT?call=trueGreșeli frecvente și capcane
- Lași STT-ul administratorului pe Web API și cauți Voice Mode: în această configurație nu este disponibil.
- Folosești imaginea
:slimfără motoare externe: nici Whisper local, nici vocea locală Transformers nu sunt incluse. - Selectezi mai multe modele în chat: Voice Mode lucrează cu un singur model odată.