Lorsque vous regardez un élément de support produit dans une langue que vous ne parlez pas, vous avez quelques options. Vous pouvez, bien sûr, activer les sous-titres et suivre en lisant. Mais dans certains cas, vous pouvez basculer la piste audio sur la langue que vous parlez. C’est ce qu’on appelle le «dub», et il oblige généralement les artistes vocaux à enregistrer les lignes dans cette nouvelle langue – d’une manière qui correspond au ton original du spectacle ou du film.
Cela nécessite du temps et de l’argent, quelque chose que les studios ne sont pas toujours disposés à se séparer. En tant que tel, tout n’a pas un dub. Mais et si cela pouvait?
Mercredi, Amazon a annoncé le « doublage aidé à AI- » pour Prime Video. Sur certains titres, les téléspectateurs peuvent choisir de jouer un dub généré par l’AI du script en anglais ou en espagnol d’Amérique latine. Amazon dit qu’il y a 12 titres qui prennent en charge cette fonctionnalité pour le moment, mais qu’en nommée trois: El Cid: La Leyenda; Mi Mamá Lora; et Perdu depuis longtemps. L’entreprise affirme également que les «professionnels de la localisation» travaillent avec l’IA pour «garantir le contrôle de la qualité». Il n’est pas clair ce que cela signifie, à part qu’il y a des humains qui vérifient ces doublages d’IA pour s’assurer qu’ils ne se trompent pas ou ne traduisent pas ou commettent d’autres erreurs en raison des hallucinations.
J’ai une vidéo de grande écoute, donc j’étais intéressé à consulter ces dubs pour moi pour voir comment Amazon est par rapport aux êtres humains, vous savez. Dans ma recherche, je n’ai pas pu trouver Mi Mamá Loramais je pouvais trouver les deux autres titres. Pour utiliser la fonctionnalité, vous devez entrer dans le sélecteur de langue sur le titre compatible et choisir la « Beta AI ». Ensuite, vous pouvez vivre ce que j’ai vécu.
El Cid: La Leyenda
Il y a quelques titres sur la vidéo prime du nom de El Cidmais le seul qui prend en charge le doublage de l’IA est cette option spécifique: un documentaire de 63 minutes sur Rodrigo Díaz de Vivar, autrement connu sous le nom El Cid. Je ne regardais pas El Cid: La Layenda Pour en savoir plus sur cette règle de l’Espagne médiévale – je voulais savoir à quel point un bot AI gérerait le doublage anglais d’un film produit en espagnol.
Les résultats sont pour le moins intéressants. La plupart des discours dans le documentaire se produisent via la voix off, qui est extrêmement touché ou manque. (« Hit » peut être trop généreux.) Lorsque vous savez que la voix est générée par AI, vous choisissez les inflexions fade ou étranges. C’est un discours classique généré par l’AI: les éléments d’une liste sont parlés dans des tons incohérents; Certains mots sont enroulés ou ralentis artificiellement, comme si le bot avait un verre ou deux. Mais en toute honnêteté, je m’attendais pire. Ce n’est pas comme regarder un documentaire raconté par la voix Tiktok AI. Ce n’est pas génial (ce n’est même pas bon), mais il offre un peu plus d’émotion que je ne m’attendais.
Les problèmes s’étendent aux Dubs de l’IA des personnes interrogées du documentaire. Dans de nombreux cas, la voix est assez maladroite, guindée et pleine des incohérences mentionnées ci-dessus. Parfois, la voix est complètement dépourvue de toute émotion et ressemble plus à un outil de voix off depuis les années passées, plutôt que les voix d’IA « de haute qualité » auxquelles nous nous attendons.
Pour le crédit d’Amazon, il semble que l’IA utilise une voix différente pour chaque personne qu’il est doublée. Cela rend un peu plus facile à distinguer les différents haut-parleurs et vous épargne de devoir écouter la même voix médiocre d’IA pour tout le film.
Perdu depuis longtemps
Perdu depuis longtemps est un peu plus difficile à juger: le film, produit à l’origine en anglais, a un dub IA en espagnol. Comme je ne parle pas espagnol, ce n’est pas aussi facile de choisir les bizarreries robotiques que votre oreille reprend lorsque vous connaissez la langue.
Toujours, Perdu depuis longtemps offert une expérience différente de El Cidpuisque il s’agit d’un film: vous entendez comment l’IA gère le doublage des acteurs. Comme la voix off de l’IA dans le documentaire, ces acteurs de l’IA ne sont pas aussi mauvais que je m’y attendais. Je prévoyais que les voix d’IA livrant leurs lignes totalement plates, mais il y a parfois une émotion ici. Aucun robot ne gagne un Oscar ici, attention: en fait, les voix peuvent être assez gênantes et manquées, en lisant le script trop fort, brusquement ou clairement. Mais, pour certaines lignes, je ne suis pas sûr de supposer que c’était des voix de l’IA si je ne savais pas déjà à l’avance.
Même dans des scènes plus intenses, l’IA «essaie». Lorsque le personnage crie, l’IA lève sa voix. C’est loin d’être parfait, mais c’est une expérience intéressante pour voir ce que l’IA peut faire:
Dans une scène, deux personnages concourent dans un jeu de « Chubby Bunny », dans lequel chacun doit continuer à ajouter des guimauves à leur bouche tout en étant capable de dire « Chubby Bunny ». Parfois, l’IA sonne en fait étouffée, et même si ce n’est pas « réaliste », c’est une belle touche. (C’est peut-être là que l’intervention humaine entre en jeu.) À d’autres moments, cependant, l’IA semble totalement normale, tandis que la bouche des acteurs est clairement pleine de guimauve.
Une autre bizarrerie intéressante: l’un des personnages commence à parler en français, donc la piste d’IA coupe et l’audio original entre. C’est choquant, parce que vous pouvez entendre la différence immédiatement – pas seulement les différentes langues, bien sûr, mais la différence dans la façon dont l’audio réel du film est par rapport à la sortie SIRIL IA.
J’aimerais réessayer cette fonctionnalité sur un film produit en espagnol avec un dub anglais AI. J’imagine qu’il serait plus facile pour moi de choisir les problèmes et de savoir si plus (ou tous) des voix sembleraient totalement faux.
L’avenir du doublage de l’IA?
Écoutez, il n’y a aucun moyen que j’apprécierais vraiment de regarder un film ou une série entier avec un Dub IA. Personnellement, je ne suis pas un grand fan de dubs générés par l’homme, donc je n’ai aucun intérêt pour celui qui, parfois, ressemble à un robot qui tire pour l’Egot.
Mais je dois admettre que la technologie n’est pas terrible. À certains moments, les voix semblent assez réalistes pour que je puisse obtenir l’essentiel, surtout lorsque la voix off serait également monotone et informative – telle que lors d’un documentaire. Et il est intéressant que ces doublages d’IA puissent incorporer des éléments du spectacle ou du film, comme un discours étouffé lors d’un jeu de chuby chubby.
Je ne veux pas voir des acteurs de la voix mis au chômage ici. Ils méritent d’être payés pour leur travail et le public mérite un dub de haute qualité dans les émissions et les films qu’ils paient pour regarder. Cependant, je pense que le doublage de l’IA pourrait offrir un compromis pour les moments où aucun dub est en route: si un studio ne va pas payer pour un dub de toute façon, il serait utile d’avoir un dub – même si c’est du côté robotique. Cela aiderait certainement les téléspectateurs malvoyants, qui pourraient ne pas être en mesure de profiter des sous-titres.
Bien sûr, il est naïf de penser que les studios n’utiliseront cette technologie que pour ces utilisations spécifiques, plutôt que d’éliminer une profession humaine entière pour économiser de l’argent. À cette fin, je serais heureux si toute la pratique du doublage de l’IA se termine ici et maintenant: c’est intéressant, mais ce n’est pas bon, alors ne remplacez pas les vrais acteurs de la voix.
