A competição por vídeos gerados por IA de alta qualidade está aumentando.
Runway, uma empresa que desenvolve ferramentas generativas de IA para criadores de conteúdo de filmes e imagens, anunciou na segunda-feira Gen-3 Alpha, seu mais recente modelo de IA que gera videoclipes a partir de descrições de texto e imagens estáticas. De acordo com a Runway, o Gen-3 oferece aumentos “significativos” na velocidade de produção e fidelidade em comparação com o modelo de vídeo carro-chefe anterior da Runway, Gen-2, e fornece controle granular sobre a estrutura, estilo e movimento dos vídeos que estão sendo criados. possível.
Gen-3 estará disponível nos próximos dias para assinantes da Runway, incluindo clientes corporativos e empresas participantes do Programa de Parceiros Criativos da Runway.
“A Gen-3 Alpha é excelente na geração de personagens humanos expressivos com uma ampla gama de movimentos, gestos e emoções”, escreveu Runway em um post no blog. “Ele foi projetado para interpretar uma ampla gama de estilos e terminologia cinematográfica.” [and enable] Transições imaginativas e quadros-chave precisos de elementos em uma cena. ”
Gen-3 Alpha tem limitações, talvez a mais óbvia seja que a duração do vídeo pode chegar a 10 segundos. Mas Anastase Germanidis, cofundadora da Runway, disse que o Gen-3 é o primeiro e menor de vários modelos de geração de vídeo da família de modelos de próxima geração treinados em infraestrutura atualizada.
“Os modelos podem lutar com interações complexas entre personagens e objetos, e as gerações nem sempre seguem exatamente as leis da física”, disse Germanidis em entrevista ao TechCrunch esta manhã. “Esta implementação inicial suporta geração de alta resolução de 5 e 10 segundos com tempos de geração significativamente mais rápidos do que clipes de 5 segundos que levam 45 segundos para serem gerados, clipes de 10 segundos levam 45 segundos para serem gerados e clipes de 10 segundos. leva 45 segundos para gerar e leva 90 segundos para gerar.
Gen-3 Alpha, como todos os modelos de geração de vídeo, foi treinado em um grande número de exemplos de vídeo (e imagens), para que possa “aprender” padrões nesses exemplos para gerar novos clipes. De onde vieram os dados de treinamento? Runway não disse. Atualmente, poucos fornecedores de IA generativa oferecem tais informações. Uma razão para isso é que eles mantêm os dados de treinamento e informações relacionadas bem guardados porque veem os dados de treinamento como uma vantagem competitiva.
“Temos uma equipe de pesquisa interna que supervisiona todo o treinamento e treinamos nossos modelos usando conjuntos de dados internos cuidadosamente selecionados”, disse Germanidis, deixando por isso mesmo.
Se um fornecedor treinar usando dados disponíveis publicamente, incluindo dados protegidos por direitos autorais na web, os detalhes dos dados de treinamento também serão uma fonte potencial de litígios relacionados à PI, outra fonte reveladora. Isso será um fator inibidor. Vários casos pendentes no tribunal alegam que as ferramentas generativas de IA copiam o estilo de um artista sem a permissão do artista e fazem com que os usuários gerem novos trabalhos semelhantes ao original do artista sem que o artista receba compensação, rejeitando a defesa de dados de treinamento de uso justo do fornecedor.
Em uma postagem no blog anunciando o Gen-3 Alpha, a Runway abordou brevemente questões de direitos autorais e disse que consultou artistas no desenvolvimento do modelo. (Quais artistas? Não está claro.) Isso ecoa o que Germanidis me disse no serão da conferência Disrupt do TechCrunch em 2023.
“Estamos trabalhando em estreita colaboração com os artistas para considerar qual é a melhor abordagem para resolver esse problema”, disse ele. “Estamos explorando várias parcerias de dados para permitir um maior crescimento e construir modelos de próxima geração.”
Runway disse em uma postagem no blog que o Gen. Ele também disse que planeja lançar -3. Também estamos desenvolvendo um sistema de proveniência compatível com o padrão C2PA suportado pela Microsoft, Adobe, OpenAI e outros para identificar vídeos como provenientes da Geração 3.
“Nossos novos e aprimorados sistemas internos de moderação visual e de texto empregam monitoramento automatizado para filtrar conteúdo impróprio ou prejudicial”, disse Germanidis. “A certificação C2PA verifica a procedência e autenticidade da mídia criada com todos os modelos Gen-3. À medida que nossos modelos melhoram em funcionalidade e capacidade de produzir conteúdo de alta fidelidade, continuamos a refinar e proteger. Continuaremos a investir pesadamente em nosso compromisso com a sexualidade. .”
Na postagem de hoje, a Runway também disse que está fazendo parceria e colaborando com “principais organizações de entretenimento e mídia” para permitir personagens mais “estilisticamente controlados” e consistentes, e para criar “artísticas e narrativas específicas”. do Gen-3 que visa “requisitos”. A empresa acrescenta: “Isso significa que personagens, ambientes e elementos gerados podem manter uma aparência e comportamento consistentes em diferentes cenas”.
Um grande problema não resolvido com modelos de geração de vídeo é o controle. Isso significa fazer com que o modelo produza vídeos consistentes que se alinhem com a intenção artística do criador. Como meu colega Devin Coldewey escreveu recentemente, problemas simples no cinema tradicional, como escolher a cor da roupa de um personagem, podem ser resolvidos usando modelos generativos porque cada tomada é criada independentemente das outras. Em alguns casos, até mesmo soluções alternativas podem ser ineficazes e exigir um extenso esforço manual por parte do editor.
A Runway arrecadou mais de US$ 236,5 milhões de investidores, incluindo Google (que detém créditos de computação em nuvem) e Nvidia, bem como VCs como Amplify Partners, Felicis e Coatue, e Creative como um investimento em IA generativa. A tecnologia cresce. A Runway opera o Runway Studios, uma divisão de entretenimento que atua como parceira de produção para clientes corporativos e é um dos primeiros eventos dedicados à exibição de filmes criados inteiramente (ou parcialmente) por IA. Estamos organizando um festival de filmes de IA.
No entanto, a concorrência está aumentando.
A startup de IA generativa Luma anunciou na semana passada o Dream Machine, um gerador de vídeo que se tornou viral por sua capacidade de animar memes. E há apenas alguns meses, a Adobe revelou que estava desenvolvendo seu próprio modelo de geração de vídeo treinado em conteúdo da biblioteca de mídia Adobe Stock.
Outras empresas estabelecidas, como a Sora da OpenAI, permanecem totalmente fechadas, mas a OpenAI está a semear agências de marketing e cineastas independentes e de Hollywood. (OpenAI CTO Mira Murati participou do Festival de Cinema de Cannes de 2024.) O Tribeca Festival deste ano (também em parceria com a Runway para fazer a curadoria de filmes feitos com ferramentas de IA)) apresentou curtas-metragens feitos com Sora por diretores que tiveram acesso antecipado.
O Google também está colocando o Veo, seu modelo de geração de imagens, nas mãos de criadores selecionados, incluindo Donald Glover (também conhecido como Childish Gambino) e sua agência criativa Gilga, e está trabalhando para trazer o Veo para produtos como o YouTube Shorts.
Não importa o resultado das várias colaborações, uma coisa está ficando clara. Isso significa que as ferramentas generativas de vídeo de IA ameaçam mudar completamente a indústria cinematográfica e televisiva como a conhecemos.
O diretor de cinema Tyler Perry disse recentemente que interrompeu os planos de expansão de US$ 800 milhões de seu estúdio de produção depois de ver o que Sora poderia fazer. Joe Russo, diretor de grandes filmes da Marvel, como Vingadores: Ultimato, prevê que a IA será capaz de criar filmes completos dentro de um ano.
Um estudo de 2024 encomendado pelo Animation Guild, um sindicato que representa animadores e cartunistas de Hollywood, descobriu que 75% das produtoras de filmes que implementaram IA reduziram, consolidaram ou eliminaram empregos após implementarem a tecnologia de IA. O estudo também estima que, até 2026, mais de 100.000 empregos no setor de entretenimento nos EUA serão destruídos pela IA generativa.
São necessárias proteções significativas aos trabalhadores para garantir que as ferramentas de geração de vídeo não sigam os passos de outras tecnologias generativas de IA e conduzam a um declínio acentuado na procura de trabalho criativo.
