Prime Video estreia série que usa IA para fazer sincronização labial com dublagens

Há alguns dias, segundo o site Futurism, Raf Soltanovich, vice-presidente de tecnologia do Prime Video e da Amazon GMM Studios, comentou que a companhia quer criar uma forma "mais fluida e imersiva de desfrutar do conteúdo global".

Isso se traduz em uma ferramenta de IA que, diretamente, usa o vídeo original como referência e altera digitalmente tanto os lábios quanto a parte inferior do rosto dos atores e atrizes, quadro a quadro, para que a boca coincida com a faixa de áudio dublada.

A Amazon não publicou nenhum vídeo ou demonstração tecnológica, mas sabe-se que a implementação começa agora com Maxton Hall, uma série alemã que já usa essa tecnologia para a dublagem em inglês. A empresa já deixou claro que, embora se trate de um teste, tem planos de estender essa IA a mais títulos no futuro. Não temos um cronograma nem sabemos se isso chegará a mais idiomas além do inglês.

O que sabemos é que a Amazon está pisando fundo em sua aposta pela IA para sua plataforma de vídeo. Para além das ferramentas algorítmicas, a Amazon já delegou à IA generativa alguns aspectos em sua plataforma. Por exemplo, está testando sistemas de dublagem "assistida por IA" para filmes e séries tanto em inglês quanto em espanhol, assim como dublagens geradas integralmente por IA para alguns animes (o que provocou uma reação tremendamente negativa tanto por parte dos usuários quanto dos atores).

Também há resumos de séries feitos automaticamente que, em alguns casos, tiveram que ser retirados pela quantidade de erros que apresentavam. E o catálogo agora tem produções feitas diretamente com IA, como Love, Diana Music Hunters (que lembra um certo filme de K-Pop da Netflix), entre outras produções.

Sincronização labial não é nova

A Amazon está disposta a impulsionar ao máximo essa tecnologia de sincronização labial. Mas a IA não é algo novo no mundo do entretenimento. Na verdade, existem empresas, como a Flawless AI, que foram fundadas precisamente para isso. Eis um vídeo que demonstra como a Flawless age:

Nos videogames, também é uma tecnologia que títulos como Cyberpunk 2077 usaram para que a sincronização labial fosse melhor em todos os idiomas. Os deepfakes da internet também usam tecnologia similar para ficarem mais convincentes. 

Embora essa tecnologia talvez agrade quem se incomode com a falta de sincronicidade entre os movimentos labiais e a dublagem, ela também pode causar estranheza. Há muitos exemplos de pequenas características faciais modificadas por computador que são facilmente percebidas pelo público.

A IA, no fim das contas, aprende e pode melhorar, mas os seres humanos são projetados para perceber imediatamente e de forma inconsciente qualquer mínima perturbação nas feições humanas. Passamos grande parte de nossa vida "lendo" rostos, algo que fazemos desde que somos uma espécie, por isso é possível que essa tecnologia cause mais rejeição do que a que pode provocar uma leve falta de sincronização labial.

Em Xataka Brasil

Esperança com IA cai e ansiedade cresce entre Geração Z, que se organiza em protestos contra as big techs

Rejeição profissional

Outro aspecto importante é que esse uso ambicioso da IA fez com que o setor de atores e atrizes de voz entrasse em conflito com a Amazon. Um dos casos mais comentados é o da voz de Lara Croft no jogo Tomb Raider: Legacy of Atlantis, que, além de ter um certo cheiro de IA generativa, não contará com as atrizes que dão voz a Lara desde 1998 porque não terá dublagem em muitos idiomas.

E o problema não é que eles vão dublar com IA, mas que querem que os atores que trabalhem com eles cedam os direitos de suas vozes para que a Amazon possa treinar a IA, algo a que sindicatos e associações de dublagem se recusaram. Por isso, há idiomas nos quais determinadas empresas não estão dublando seus títulos.

Imagem | Flawless

Este texto foi traduzido/adaptado do site Xataka Espanha.