Audio pe Groq: transcriere cu Whisper și sinteză vocală cu Orpheus în Groq: LPU și GroqCloud API

POST /openai/v1/audio/transcriptions   # whisper-large-v3-turbo, whisper-large-v3
POST /openai/v1/audio/translations     # whisper-large-v3 (doar în engleză)
POST /openai/v1/audio/speech           # canopylabs/orpheus-v1-english, orpheus-arabic-saudi

Pentru vorbire în text există două endpoint-uri: /audio/transcriptions (textul în limba vorbită) și /audio/translations (textul tradus în engleză). whisper-large-v3 costă $0,111 pe oră de audio și face ambele operații; whisper-large-v3-turbo costă $0,04 pe oră și face doar transcriere. În tabelul oficial, rata de eroare pe cuvinte (WER) este 10,3%, respectiv 12%, iar factorul de viteză față de timpul real 189, respectiv 216.

Fișierul se trimite direct (cel mult 25 MB) sau prin parametrul url. Mărimea maximă este 25 MB pe planul free și 100 MB pe planul developer. Formate: flac, mp3, mp4, mpeg, mpga, m4a, ogg, wav, webm. Se facturează minimum 10 secunde pe cerere, se transcrie doar prima pistă audio, iar modelul reduce audio la 16 kHz mono. Răspunsul poate fi json, verbose_json sau text; vtt și srt nu sunt acceptate. Pentru fișiere mai mari, documentația recomandă împărțirea în segmente care se suprapun.

Pentru text în vorbire, /audio/speech folosește canopylabs/orpheus-v1-english ($22 pe 1M caractere; vocile autumn, diana, hannah, austin, daniel, troy) și canopylabs/orpheus-arabic-saudi ($40; vocile Abdullah – implicită, Fahad, Sultan, Lulwa, Noura, Aisha). Textul are cel mult 200 de caractere pe cerere, singurul format de ieșire este wav, iar modelul englez acceptă indicații de interpretare între paranteze drepte, de exemplu [cheerful] sau [whisper]. Modelele playai-tts au fost retrase pe 31 decembrie 2025. Limba română nu apare printre limbile TTS.

Concepte cheie și caracteristici

Concept / Parametru	Descriere practică
file / url	Fișierul audio sau adresa lui. Unul dintre ele este obligatoriu.
model	whisper-large-v3-turbo sau whisper-large-v3 (traducerile doar cu acesta).
language	Limba audio în format ISO-639-1 (de exemplu ro); îmbunătățește precizia și latența. La traduceri se acceptă doar en.
prompt	Context sau ortografia unor termeni; cel mult 224 de tokeni. Ghidează stilul, nu dă instrucțiuni.
response_format	json (implicit), verbose_json (segmente cu avg_logprob, no_speech_prob, compression_ratio), text.
timestamp_granularities	segment (implicit) și/sau word; cere response_format="verbose_json".
temperature	Între 0 și 1; implicit și recomandat 0.
voice / input (TTS)	Vocea și textul (cel mult 200 de caractere), cu indicații [...] doar la modelul englez.

Exemple practice și scenarii reale

Exemplul 1: Transcriere în română cu marcaje de timp

from groq import Groq

client = Groq()
with open("interviu.mp3", "rb") as f:
    t = client.audio.transcriptions.create(
        file=f,
        model="whisper-large-v3-turbo",
        language="ro",
        response_format="verbose_json",
        timestamp_granularities=["segment"],
        temperature=0.0,
    )
print(t.text)

Exemplul 2: Traducerea unei înregistrări în engleză

with open("interviu.mp3", "rb") as f:
    tr = client.audio.translations.create(
        file=f,
        model="whisper-large-v3",
        response_format="text",
    )
print(tr)

Exemplul 3: Sinteză vocală cu Orpheus (engleză)

raspuns = client.audio.speech.create(
    model="canopylabs/orpheus-v1-english",
    voice="troy",
    input="Your order has shipped. [cheerful] It should arrive on Friday.",
    response_format="wav",
)
raspuns.write_to_file("anunt.wav")

Exemplul 4: Reducerea mărimii fișierului înainte de trimitere

Modelul reduce oricum audio la 16 kHz mono; conversia locală micșorează fișierul. Documentația recomandă FLAC pentru compresie fără pierderi.

ffmpeg -i inregistrare.mp4 -ar 16000 -ac 1 -map 0:a -c:a flac inregistrare.flac

Greșeli frecvente și capcane

• Ceri traducere cu whisper-large-v3-turbo. Turbo nu face traduceri; folosește whisper-large-v3.
• Trimiți fragmente audio foarte scurte. Fiecare cerere se facturează cu minimum 10 secunde.
• Ceri subtitrări srt sau vtt. Nu sunt acceptate; construiește-le din segmentele lui verbose_json.
• Folosești încă playai-tts. A fost retras; modelele actuale sunt Orpheus.

Noțiuni și module înrudite

• groq-api-python
• groq-modele-deprecari
• groq-batch-flex