As plataformas de áudio e vídeo geradas por IA estão melhorando rapidamente e se mostrando potencialmente úteis em áreas que vão do entretenimento aos recursos humanos. Mas os seus líderes reconhecem que existem riscos e terão de ter cuidado na aplicação de políticas de moderação que impeçam os utilizadores de utilizar a IA para se passarem por figuras públicas ou cometerem fraudes.
falar com sorte Escritor sênior Jeremy Kahn Fortuna Na conferência Brainstorm AI em Londres, Victor Riparbelli, CEO da Synthesia, e Mati Staniszewski, CEO da ElementLabs, disseram que ainda estão descobrindo como garantir que a tecnologia de clonagem de voz e geração de vídeo de sua empresa seja bem utilizada. estava dentro.
“Tal como acontece com a maioria das novas tecnologias, consideramos imediatamente o que pode dar errado. Neste caso, você está certo. Pessoas más poderiam usar isso para fazer coisas más. Não há dúvida sobre isso”, disse Riparveli, cofundador da plataforma de geração de vídeo.
Personificar celebridades usando áudio e vídeo gerados por IA tornou-se um tema controverso. Nos últimos meses, foram criados deepfakes flagrantes de Taylor Swift e chamadas automáticas falsas de Joe Biden, deixando os observadores preocupados com a forma como o conteúdo gerado por IA afetará as eleições presidenciais dos EUA neste outono.
A OpenAI anunciou recentemente que estava atrasando o lançamento da sua ferramenta de clonagem de voz de IA devido ao risco de abuso, destacando as potenciais implicações políticas. '', disse em comunicado.
disse Staniszewski, cofundador da empresa de clonagem de voz de IA Eleven Labs. Fortuna Khan disse que sua empresa está investindo em protocolos de conhecimento do seu cliente e divulgações obrigatórias para garantir que todo o conteúdo gerado na plataforma esteja vinculado ao perfil de um usuário específico. A empresa também está explorando diferentes maneiras de deixar claro aos usuários qual conteúdo é gerado por IA e qual não é, disse ele.
“Todo o conteúdo gerado pelo Eleven Labs pode ser rastreado até uma conta específica”, disse Staniszewski. “Uma das coisas que defendemos não é apenas colocar marcas d’água em coisas que são IA, mas colocar marcas d’água no conteúdo real.”
Lipalberg disse que a Synthesia possui protocolos que exigem que os usuários verifiquem sua identidade e forneçam consentimento antes de criar vídeos gerados por IA.
“Hoje é impossível entrar e gravar um vídeo no YouTube e clonar alguém. [on Synthesia]. É assim que controlamos”, disse Riparbelli. “Temos controles de conteúdo muito rígidos e regras sobre o que você pode ou não criar.”
Um repórter perguntou sobre os riscos potenciais de deepfakes de áudio em relação ao prefeito de Londres, Sadiq Khan, que foi alvo de um clipe de áudio viral em novembro passado se passando por Sadiq Khan criticando marchas pró-Palestina.
“O Congresso precisa acordar e perceber que, se não agir, dará aos criadores de travessuras oportunidades ainda mais encorajadas para agir”, disse Khan. BBC.
“Todo o conteúdo que existe deve ser conhecido como gerado por IA e deve haver ferramentas que permitam que você, como usuário, obtenha essas informações imediatamente… para que Sadiq Khan possa enviar uma mensagem e saber que isso é real”, Staniszewski. disse.
Lipalberg disse que levará tempo para que a indústria e os legisladores cheguem a um acordo sobre a melhor forma de usar e regular ferramentas como as oferecidas pelas empresas dele e de Staniszewski.
“Como qualquer nova tecnologia, será um ano em que as pessoas descobrirão o que é certo e o que é errado”, disse Lipalberg.
