Ce înseamnă Whisper
Whisper este un model de recunoaștere vocală (speech-to-text) publicat de OpenAI în septembrie 2022, sub licența open source MIT. Spre deosebire de majoritatea produselor OpenAI, codul și ponderile pot fi descărcate și rulate gratuit, pe propriul calculator.
A fost antrenat pe aproximativ 680.000 de ore de înregistrări audio cu transcrieri, colectate de pe internet, în multe limbi. De aceea este robust la accente, zgomot de fond și termeni tehnici și funcționează pentru zeci de limbi, inclusiv româna.
Cum funcționează
Whisper este un transformer de tip encoder-decoder. Sunetul este tăiat în segmente de 30 de secunde și transformat într-o spectrogramă (o „imagine” a frecvențelor). Encoderul o analizează, iar decoderul generează textul, token cu token, ca un model de limbaj. Același model poate detecta limba, transcrie, pune marcaje de timp și traduce direct în engleză.
Există mai multe mărimi, de la variante mici, care rulează pe un laptop, până la variante mari, mai precise. Comunitatea a creat versiuni optimizate, precum whisper.cpp, iar Whisper stă la baza multor aplicații de subtitrare și transcriere.
Pe înțelesul tuturor
Whisper e ca un stenograf care a ascultat sute de mii de ore de emisiuni din toată lumea: înțelege bine aproape orice accent, dar, când nu aude clar, uneori completează din imaginație.
Exemplu
Un podcaster din Cluj rulează Whisper local pe episoadele sale în limba română și obține automat subtitrări cu marcaje de timp pentru YouTube. Recitește textul înainte de publicare și corectează numele proprii și câteva cuvinte greșit auzite.
De reținut
- Whisper este gratuit, open source și poate rula offline.
- Funcționează pentru română, dar e mai precis în limbile cu multe date de antrenare.
- Poate „halucina” fraze în zonele de liniște sau cu zgomot; transcrierile importante trebuie verificate.
Nu confunda
- Whisper (speech-to-text) vs. text-to-speech: Whisper transformă vorbirea în text, nu invers.
Termeni înrudiți
- Speech-to-text (recunoaștere vocală): Tehnologie care transformă vorbirea dintr-o înregistrare sau de la microfon în text scris.
- OpenAI: Organizația americană care a creat ChatGPT, modelele GPT, DALL-E, Sora și Whisper, fondată în 2015 cu misiunea declarată de a dezvolta AGI.
- Transformer: Arhitectura de rețea neuronală, prezentată de Google în 2017, pe care sunt construite aproape toate modelele de limbaj actuale.
- Model open source / open weights: Model AI ale cărui ponderi pot fi descărcate și rulate de oricine; un model complet open source ar include și codul și informații despre date.
- Traducere automată: Traducerea unui text sau a vorbirii dintr-o limbă în alta, realizată de un program, fără traducător uman.