Meta a rapidement progressé dans l’espace de l’IA. Le géant des médias sociaux appartenant à Mark Zuckerberg a fait sentir sa présence avec le lancement de son propre « grand modèle de langage open source » baptisé LlaMa 2 pour affronter OpenAI, Google et Microsoft, et maintenant, pour prendre les choses en main. Notch, Meta a dévoilé son propre modèle d’IA générative basé sur la synthèse vocale, baptisé AudioCraft. Continuez à lire pour en savoir plus sur AudioCraft
Le modèle d’IA générative AudioCraft de Meta peut vous aider à générer de la musique et de l’audio de haute qualité en utilisant de simples invites textuelles. Le plus grand USP d’AudioCraft est qu’il s’entraîne sur des signaux audio RAW pour offrir une expérience authentique et réaliste. Ceci est similaire à l’outil d’IA audio de Google, MusicLM.
AudioCraft est largement basé sur trois modèles d’IA distincts : MusicGen, AudioGen et EnCodec. Le but de MusicGen est de générer « musique à partir d’entrées textuelles », en utilisant des échantillons de musique appartenant à Meta et sous licence. AudioGen, d’autre part, génère « audio à partir d’entrées textuelles », en utilisant des effets sonores accessibles au public. Le décodeur EnCodec est responsable de la génération de sorties audio réalistes et, comme le dit Meta, « avec moins d’artefacts. »
Cela signifie que vous pouvez générer facilement différentes scènes avec des éléments ciblés individuellement qui apparaîtront en synchronisation dans la sortie finale. Par exemple, si vous utilisez l’invite « Musique jazz des années 80 avec un chien qui aboie en arrière-plan, » AudioCraft utilisera son MusicGen pour livrer votre partie Jazz tandis qu’AudioGen insérera et mélangera les aboiements du chien en arrière-plan de manière transparente. Et tout cela vous sera présenté via les capacités de décodage avancées de l’EnCodec.
Bien que vous puissiez penser que la meilleure partie d’AudioCraft est ses capacités d’IA génératives, ce n’est pas le cas. AudioCraft est aussi open source. Cela signifie que les chercheurs peuvent visualiser le code source du modèle AudioCraft pour mieux comprendre cette technologie et créer leurs propres ensembles de données pour l’affiner. Vous pouvez voir le code source d’AudioCraft via GitHub.
Avec AudioCraft, vous pouvez facilement générer de la musique et du son ainsi que créer une compression et une génération. Cela rend AudioCraft polyvalent puisque les utilisateurs peuvent construire sur la base de code existante et créer de meilleurs générateurs de sons et algorithmes de compression. En un mot, vous n’avez pas à repartir de zéro. Votre fondation sera basée sur le plafond existant de l’ensemble de données.
Vous pouvez avoir un premier aperçu d’AudioCraft sous la forme des capacités de génération de texte en musique de MusicGen via Visage étreignant. Commentez votre expérience ci-dessous!
