Deepdub, une société de doublage audiovisuel et de localisation linguistique basée sur l’IA, a annoncé le lancement de Deepdub Allerun moyen pour les créateurs de doubler dans 65 langues.

La nouvelle plateforme de localisation et de création audio-vidéo alimentée par l’IA est destinée aux studios de jeux indépendants, aux agences de publicité, aux plateformes d’apprentissage en ligne et aux créateurs de contenu. Deepdub Go permet aux créateurs d’utiliser leur propre voix pour le doublage et de contrôler l’expression émotionnelle vocale à l’aide d’une IA stimulant les émotions.

La plate-forme offre une bonne qualité vocale et une résonance émotionnelle, équipée d’un son de type humain, d’une technologie d’incitation à l’émotion et de guidage vocal, et d’un compositeur robuste pour le clonage vocal de haute qualité, a déclaré la société. Deepdub, basé à Tel Aviv, a déclaré que les capacités de la plate-forme professionnelle s’étendent à l’édition des caractéristiques vocales, des langues et des traductions, en plus d’autres fonctionnalités d’édition puissantes telles que le contrôle de la durée et du nombre de mots pour le réglage de la synchronisation labiale.

En outre, la plate-forme permet le contrôle via le « guidage vocal » – une technique développée par Deepdub pour obtenir des résultats de qualité théâtrale pour les films hollywoodiens. Les utilisateurs peuvent fournir un enregistrement vocal pour servir de guide pour l’expressivité émotionnelle souhaitée de l’audio généré par l’IA.

« Nous voulons démocratiser la façon dont les gens localisent le contenu et démocratiser la portée mondiale du contenu pour le rendre accessible dans le monde entier », a déclaré Ofir Krakowski, PDG et cofondateur de Deepdub, dans une interview avec GamesBeat.

Deepdub a initialement développé sa technologie d’intelligence artificielle exclusive pour l’industrie du divertissement, en collaborant avec des studios hollywoodiens sur des dizaines de projets cinématographiques et télévisuels. Avec le lancement de Deepdub Go, la société propose pour la première fois une localisation vidéo de haute qualité et évolutive à un plus large éventail d’industries, permettant aux créateurs de rendre leur contenu accessible à un public plus large.

Les utilisateurs peuvent télécharger leurs vidéos sur la plate-forme Deepdub Go, choisir le style vidéo et les langues souhaitées, et la vidéo est disponible en téléchargement sous peu. Le processus de bout en bout comprend la transcription automatique, la traduction, la génération de voix et le mixage audio. Deepdub Go est également disponible en tant qu’interface de programmation d’application (API), permettant l’intégration dans les outils existants et les workflows automatisés.

« Pour la toute première fois, le doublage de niveau professionnel est disponible pour tout type de contenu, qu’il s’agisse d’une vidéo de formation en entreprise, d’un cours universitaire ou d’une vidéo d’influence », a déclaré Krakowski. « Deepdub Go est un catalyseur de la narration mondiale, permettant aux créateurs de contenu de résonner avec leur public d’une manière plus profonde et plus personnelle. Grâce à notre plateforme de studio, les créateurs peuvent amplifier la portée potentielle de chaque élément de contenu au-delà des frontières géographiques et linguistiques traditionnelles. »

Deepdub veut combler la barrière de la langue et le fossé culturel dans les expériences de divertissement pour un public international à travers la télévision, le cinéma, les publicités, les jeux et l’apprentissage en ligne. Les films qui l’utilisent sont actuellement diffusés sur Hulu et Amazon Prime.

Origines

Krakowski a 30 ans d’expérience en informatique et il était responsable de l’apprentissage automatique et de l’innovation pour l’armée de l’air israélienne avant de travailler dans l’industrie. Il a lancé l’entreprise avec son jeune frère Nir en 2019. L’entreprise s’est d’abord concentrée sur les studios et les maisons de production d’Hollywood.

« Deepdub vise à briser les barrières linguistiques, les écarts culturels », a-t-il déclaré. « Nous démocratisons cela en lançant la plateforme Deepdub Go au public. Notre objectif est d’avoir un impact sur l’audience mondiale et de permettre aux gens d’accéder au contenu dans différentes régions.

Avant l’arrivée de technologies telles que ChatGPT, l’entreprise devait développer sa propre plate-forme de formation à l’IA et ses propres modèles vocaux pour obtenir une traduction de haute qualité. ils ont découvert que la traduction automatique pure pouvait leur apporter une précision de 70 à 90 %. Pour aller plus haut que cela, ils avaient besoin d’un humain pour le réparer, a déclaré Krakowski. Traduire des blagues à l’aide de l’IA était particulièrement difficile.

« En créant des émotions, en fait, notre technologie peut comprendre cela », a-t-il déclaré. « En tant que personne, vous pouvez aller dire que je veux que ce soit plus drôle ou moins drôle ou sarcastique, afin que vous puissiez réellement contrôler le niveau d’émotion. »

Vous pouvez toujours utiliser l’intervention humaine, mais maintenant la technologie est meilleure, a déclaré Krakowski. Dans les jeux, cela est particulièrement utile car il peut y avoir des centaines de personnages avec des voix différentes dans un seul jeu. Avec des phrases utilisant des idiomes, il n’y a parfois pas de bonne traduction. Mais la société a fait ses propres tentatives pour traduire des phrases idiomatiques afin qu’elles aient un sens.

Il reste encore beaucoup de langues à ajouter. En Inde, par exemple, il existe plus de 100 langues. L’entreprise compte 33 employés à temps plein et des centaines d’autres indépendants à travers le monde.