Em julho de 2023, a OpenAI anunciou uma nova equipe dedicada a permitir o controle seguro de futuros sistemas de IA que tenham potencial para serem mais inteligentes do que todos os humanos juntos. Para demonstrar o quão séria a empresa levava esse objetivo, ela se comprometeu publicamente a dedicar 20% de seus recursos computacionais então disponíveis a esse esforço.
Menos de um ano depois, essa equipe, chamada Superalignment, se desfez em meio a demissões de funcionários e acusações de que a OpenAI estava priorizando o lançamento de produtos em vez da segurança da IA. Seis fontes familiarizadas com o funcionamento da equipe de Superalinhamento da OpenAI dizem que a OpenAI nunca cumpriu sua promessa de fornecer à equipe 20% de seu poder computacional.
Em vez disso, disseram as fontes, a equipe investirá em unidades de processamento gráfico, chips de computador especializados necessários para treinar e executar aplicativos de IA, embora o orçamento total de computação da equipe nunca tenha chegado perto de atingir seu objetivo. Vimos repetidamente solicitações de acesso negadas pela liderança da OpenAI. . O limite prometido de 20%.
As revelações questionam a seriedade da OpenAI em manter os seus compromissos e se outros compromissos que a empresa assumiu são dignos de confiança. A OpenAI não respondeu aos pedidos de comentários para este artigo.
A empresa está atualmente enfrentando reações adversas por usar áudio em um recurso de geração de voz de IA que se parece muito com o da atriz Scarlett Johansson. Nesse caso, foram levantadas questões sobre a confiabilidade da declaração pública da OpenAI de que a semelhança entre a voz da IA que ela chama de “Sky” e a voz de Johansson é mera coincidência. Johansson disse que o cofundador e CEO da OpenAI, Sam Altman, pediu permissão a ela para usar sua voz em setembro passado, quando a voz de Sky estreou. ela recusou. E na semana passada, pouco antes de uma demonstração de alto nível do mais recente modelo GPT-4o usando Sky Voice, Altman pediu novamente permissão para usar sua voz, disse ela. A OpenAI nega ter usado a voz de Johansson sem sua permissão e diz que pagou uma atriz profissional, cujo nome não pode ser legalmente identificado, para fazer Sky. No entanto, as afirmações de Johansson lançaram dúvidas sobre isso, com pessoas nas redes sociais dizendo que a OpenAI realmente clonou a voz de Johansson, ou que de alguma forma combinou a voz de Johansson com a de outra atriz.
A equipe de Superalinhamento da OpenAI foi criada sob a liderança do cofundador e ex-cientista-chefe da OpenAI, Ilya Sutskever, cuja saída da empresa foi anunciada na semana passada. Jan Leike, pesquisador de longa data da OpenAI, co-liderou a equipe. Na sexta-feira, dois dias após a renúncia de Sutskever, ele anunciou sua renúncia. A empresa informou então aos demais colaboradores da equipe (aproximadamente 25 pessoas) que a equipe seria dissolvida e realocada dentro da empresa.
Foi uma rápida queda em desgraça para uma equipe cujo trabalho a OpenAI havia posicionado há menos de um ano como essencial para a empresa e importante para o futuro da civilização. Superinteligência é a ideia de um hipotético sistema de IA do futuro que seria mais inteligente do que todos os humanos juntos. É uma tecnologia que vai além do objetivo da empresa de criar inteligência artificial geral (AGI), um sistema único de IA tão inteligente quanto os humanos.
A empresa disse no anúncio da equipe que a superinteligência poderia representar um risco existencial para a humanidade ao tentar matar ou escravizar pessoas. “Não temos uma solução para orientar e controlar a IA potencialmente superinteligente e prevenir fraudes”, afirmou a OpenAI em comunicado. A equipe do superalinhamento deveria pesquisar essas soluções.
Esta foi uma tarefa tão importante que a empresa disse no seu anúncio que dedicaria “20% da computação que garantiu até à data durante os próximos quatro anos” a este esforço.
Mas seis fontes familiarizadas com as atividades da equipe do Superalignment disseram que o grupo não foi designado para esta computação. Em vez disso, eles receberam muito menos do orçamento regular de alocação de computação da empresa, que é revisado trimestralmente.
Uma pessoa familiarizada com o trabalho da Equipe do Super Alinhamento disse que não há indicadores claros sobre como exatamente o valor de 20% será calculado, deixando-o aberto a ampla interpretação. Por exemplo, disse o funcionário, se o compromisso é “20% ao ano durante quatro anos” ou “5% ao ano durante quatro anos”, ou se o compromisso pode acabar sendo “1% ou 2% durante quatro anos”. A equipe não foi informada se era um valor ou não. Durante os primeiros três anos, o quarto ano carrega a maior parte do compromisso. ” Em qualquer caso, todas as fontes são sorte As pessoas com quem conversamos neste artigo confirmaram que, em julho de 2023, a equipe do Superalignment não recebeu quase 20% da computação protegida da OpenAI.
Os pesquisadores da OpenAI também podem solicitar a chamada computação “flexível” (acesso à capacidade adicional de GPU além do orçamento) para assumir novos projetos entre as reuniões orçamentárias trimestrais. No entanto, os pedidos de flexibilidade da equipa do Super Alignment foram rotineiramente rejeitados pela gestão superior, disseram estas fontes.
Bob McGrew, vice-presidente de pesquisa da OpenAI, foi o executivo que notificou a equipe de que essas solicitações seriam negadas, segundo pessoas familiarizadas com o assunto, mas outros membros da empresa, incluindo a diretora de tecnologia Mira Murati, estiveram envolvidos na decisão . Nem McGrew nem Murati responderam aos pedidos de comentários para este artigo.
Embora a equipe tenha conduzido vários estudos e publicado um artigo em dezembro de 2023 detalhando um experimento no qual eles controlaram com sucesso um modelo de IA mais poderoso com um modelo de IA menos poderoso, a falta de suporte da computação atrapalhou as ideias mais ambiciosas da equipe, disseram as autoridades.
Depois de renunciar, Rike publicou uma série de postagens no X (antigo Twitter) na sexta-feira, criticando seu ex-empregador por “permitir que a cultura e os processos de segurança ficassem em segundo plano em relação a produtos brilhantes”. Ele também disse: “Nos últimos meses, minha equipe tem navegado contra o vento. Às vezes temos dificuldades com os cálculos, tornando cada vez mais difícil a realização desta importante pesquisa”.
Cinco fontes familiarizadas com as atividades da equipe do Super Alignment apoiaram o relato de Reich, dizendo que as questões em torno do acesso à computação foram exacerbadas por um confronto antes do Dia de Ação de Graças entre Altman e o conselho da organização sem fins lucrativos OpenAI.
O Sr. Sutskever, que era membro do conselho, votou pela demissão do Sr. Altman e foi a pessoa escolhida pelo conselho para dar a notícia ao Sr. Depois que membros da equipe da OpenAI se opuseram à decisão, Sutskever postou mais tarde no X que “lamenta profundamente” ter estado envolvido na demissão de Altman. Altman acabou sendo recontratado, e Sutskever e vários outros diretores envolvidos em sua demissão renunciaram ao conselho. Sutskever não voltou a trabalhar na OpenAI após a recontratação de Altman, mas só saiu oficialmente na semana passada.
Uma fonte desafiou os métodos de outra. sorte Ele falou para caracterizar os problemas informáticos enfrentados pela equipe do Super Alignment, dizendo que eles são anteriores à participação de Sutskever no golpe fracassado e que atormentaram o grupo desde o início.
Embora alguns relatórios tenham sugerido que Sutskever continuou a co-dirigir a equipe do Super Alignment remotamente, fontes familiarizadas com o trabalho da equipe dizem que este não é o caso e que Sutskever não tem acesso ao trabalho da equipe. . Ação de graças.
Com a saída de Sutskever, a equipe do Superalinhamento perdeu a única pessoa da equipe que tinha capital político suficiente para negociar com sucesso a alocação de computação dentro da organização, disseram as pessoas.
Além de Leike e Sutskever, a OpenAI perdeu pelo menos seis pesquisadores de segurança de IA de outras equipes nos últimos meses. Um dos pesquisadores, Daniel Cocotadillo, disse ao site de notícias Vox que “gradualmente perdeu a fé na liderança da OpenAI e em sua capacidade de lidar com AGI de forma responsável e desistiu”.
Em resposta aos comentários de Reich, Altman e o cofundador Greg Brockman, presidente da OpenAI, postaram que estavam “gratos” ao X. [Leike] Por tudo que ele fez pela OpenAI. “Devemos continuar a fortalecer os nossos esforços de segurança proporcionais aos benefícios de cada novo modelo”, escreveu a dupla.
Em seguida, eles explicaram suas opiniões sobre a abordagem da empresa em relação à segurança da IA no futuro. Isto envolverá muito mais ênfase em testar modelos atualmente em desenvolvimento do que no desenvolvimento de abordagens teóricas sobre como tornar seguros modelos futuros mais poderosos. “Isso requer ciclos de feedback muito rígidos, testes rigorosos, consideração cuidadosa em cada etapa, segurança de classe mundial e um equilíbrio entre segurança e funcionalidade”, escreveram Brockman e Altman, acrescentando que “a compreensão empírica” ajudará a informar as direções futuras”. ele adicionou. ”
pessoas que conversaram comigo sorte Fizeram-no anonimamente porque temiam perder os seus empregos, os seus interesses na empresa, ou ambos. Os funcionários que deixam a OpenAI são obrigados a assinar acordos de demissão que incluem cláusulas estritas de não discriminação que permitem à empresa reivindicar direitos adquiridos se criticarem publicamente a empresa ou mesmo reconhecerem a existência de tais cláusulas. E os funcionários foram informados de que aqueles que se recusarem a assinar acordos de demissão também terão seus bens retirados.
Depois que Vox relatou sobre esses termos de separação, Altman postou para X que não tinha conhecimento dos termos e estava “realmente confuso” com o fato. Ele disse que a OpenAI nunca tentou fazer cumprir esta disposição para recuperar os interesses adquiridos de alguém. Ele disse que a empresa está em processo de atualização de seus documentos de demissão para “resolver” o problema, e que ex-funcionários preocupados com os termos dos documentos de demissão que assinaram podem contatá-lo diretamente sobre o assunto.
