Meta AudioCraft (MusicGen și AudioGen) în AI Audio & Video

MusicGen.get_pretrained('facebook/musicgen-medium') -> set_generation_params(duration=8) -> generate([...])

AudioCraft este o bibliotecă PyTorch pentru cercetare în generare audio. Conține cod de inferență și antrenare pentru MusicGen (text la muzică), AudioGen (text la sunet), EnCodec (codec audio neural), Multi Band Diffusion, MAGNeT, AudioSeal (watermarking), MusicGen Style și JASCO. Codul este sub licența MIT, dar greutățile modelelor sunt sub CC-BY-NC 4.0, deci nu pot fi folosite comercial.

MusicGen este un Transformer autoregresiv antrenat peste un tokenizer EnCodec de 32 kHz cu 4 codebook-uri la 50 Hz. Codebook-urile sunt prezise în paralel cu o mică întârziere între ele, deci sunt 50 de pași autoregresivi pe secundă de audio. Modele: musicgen-small (300M), musicgen-medium (1,5B), musicgen-melody (1,5B, acceptă și o melodie de referință), musicgen-large (3,3B), musicgen-melody-large (3,3B) și variante stereo.

Pentru modelele medium documentația cere un GPU cu cel puțin 16 GB de memorie. O alternativă cu greutăți deschise și utilizare comercială este Stable Audio 3.0 (mai 2026): modelele Small, Small SFX și Medium sunt descărcabile, antrenate pe date licențiate și distribuite sub Stability AI Community License (licență Enterprise peste 1 milion USD venit anual).

Concepte cheie și caracteristici

Concept / Parametru	Descriere practică
musicgen-small	300M parametri, doar text la muzică.
musicgen-medium	1,5B parametri; documentația îl indică, alături de melody, ca bun compromis calitate / resurse.
musicgen-melody	1,5B parametri, text și melodie la muzică (generate_with_chroma).
musicgen-large	3,3B parametri, doar text la muzică.
set_generation_params(duration=...)	Durata în secunde a fiecărui eșantion generat.
Licență	Cod MIT, greutăți CC-BY-NC 4.0 (necomercial).

Exemple practice și scenarii reale

Exemplul 1: Generare din text

from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write

model = MusicGen.get_pretrained('facebook/musicgen-medium')
model.set_generation_params(duration=8)
wav = model.generate(['upbeat disco funk, slap bass, brass section, 120 bpm'])
audio_write('disco', wav[0].cpu(), model.sample_rate, strategy="loudness")

Exemplul 2: Interfața Gradio locală

Comanda din documentația MusicGen, rulată din directorul repo-ului.

python -m demos.musicgen_app --share

Greșeli frecvente și capcane

• Folosești muzica generată cu MusicGen într-un proiect comercial. Greutățile sunt CC-BY-NC 4.0.
• Rulezi musicgen-medium pe o placă cu memorie puțină. Documentația cere cel puțin 16 GB; pentru GPU-uri mai mici folosește musicgen-small sau secvențe scurte.
• Scrii python -m audiocraft.demos.musicgen_app. Modulul demo este demos.musicgen_app, în repo-ul clonat.

Noțiuni și module înrudite

• suno-ai-music
• udio-music
• text-to-sfx
• f5-tts-kokoro