OpenAI Whisper: transcriere și traducere a vorbirii în AI Audio & Video: utilizare și exemple practice

Whisper este un model Transformer secvență-la-secvență antrenat pentru recunoașterea vorbirii în mai multe limbi, traducerea vorbirii în engleză și identificarea limbii. Lucrarea originală (arXiv 2212.04356) descrie un set de antrenare de 680.000 de ore de audio. Codul și greutățile sunt publice și rulează local; pe lângă pachetul Python este nevoie de ffmpeg.

Există șase dimensiuni: tiny, base, small, medium, large și turbo (809 milioane de parametri, aproximativ 6 GB VRAM). turbo este o versiune optimizată a lui large-v3 și este modelul implicit al comenzii, dar nu este antrenat pentru traducere: cu --task translate returnează textul în limba originală.

Audio-ul se procesează cu o fereastră glisantă de 30 de secunde. Ieșirea poate fi txt, vtt, srt, tsv, json sau jsonl. În API-ul OpenAI, whisper-1, gpt-4o-transcribe și gpt-4o-mini-transcribe vor fi scoase pe 26 februarie 2027; înlocuitorii recomandați sunt gpt-transcribe și gpt-live-transcribe. Modelul open-source nu este afectat.

Concepte cheie și caracteristici

Concept / Parametru	Descriere practică
`--model`	`tiny`, `base`, `small`, `medium`, `large`, `turbo` (implicit) sau variantele `.en`.
`--language`	Limba vorbită (de exemplu `Romanian` sau `ro`); fără ea, modelul o detectează.
`--task`	`transcribe` (implicit) sau `translate` (traducere în engleză; nu cu `turbo`).
`--output_format`	`txt`, `vtt`, `srt`, `tsv`, `json`, `jsonl` sau `all` (implicit).
`--word_timestamps`	Marcaje de timp la nivel de cuvânt (experimental).
`faster-whisper`	Reimplementare cu CTranslate2; README-ul ei indică până la de 4 ori mai rapid la aceeași acuratețe și memorie mai puțină.

Exemple practice și scenarii reale

Exemplul 1: Subtitrare în română

whisper interviu.mp3 --model turbo --language Romanian --output_format srt

Exemplul 2: Traducere în engleză

Pentru traducere folosești un model multilingv, nu turbo.

whisper conferinta.mp3 --model medium --language Romanian --task translate

Exemplul 3: Din Python

import whisper

model = whisper.load_model("turbo")
result = model.transcribe("audio.mp3")
print(result["text"])

Greșeli frecvente și capcane

Folosești --task translate cu modelul implicit turbo. Nu traduce; alege medium sau large.
Lași detectarea automată a limbii pe înregistrări scurte sau amestecate. Setează --language când știi limba.
Integrezi whisper-1 în aplicații noi prin API. OpenAI îl scoate pe 26 februarie 2027.

`OpenAI Whisper: transcriere și traducere a vorbirii` în AI Audio & Video