Por que a equipe OpenAI Super Alignment responsável pela segurança da IA ​​entrou em colapso

Nos últimos meses, a OpenAI tem perdido funcionários que prestam muita atenção em garantir a segurança da sua IA. Atualmente, a empresa continua sangrando agressivamente.

Ilya Sutskever e Jan Leike anunciaram terça-feira sua saída da OpenAI, desenvolvedora do ChatGPT. Eles eram os líderes da equipe de superalinhamento da empresa. Esta equipe foi encarregada de garantir que a IA estivesse alinhada com os objetivos de seus desenvolvedores, em vez de fazer com que a IA se comportasse de forma imprevisível e prejudicasse a humanidade.

Eles não foram os únicos que partiram. Desde novembro passado, quando o conselho da OpenAI tentou demitir o CEO Sam Altman, apenas para vê-lo retornar rapidamente ao poder, pelo menos um dos funcionários mais críticos para a segurança da empresa. Mais cinco pessoas pediram demissão ou foram expulsas.

o que está acontecendo?

Se você acompanha essa história nas redes sociais, pode pensar que a OpenAI fez silenciosamente um grande avanço tecnológico. O meme “O que Ilya viu?” especula que o ex-cientista-chefe Satskeva desistiu porque viu algo assustador, como um sistema de IA que poderia exterminar a humanidade.

Mas a verdadeira resposta pode ter menos a ver com o pessimismo em relação à tecnologia do que com o pessimismo em relação às pessoas, e a uma pessoa em particular: Altman. Pessoas familiarizadas com a empresa dizem que os funcionários preocupados com a segurança perderam a confiança nele.

“É um processo em que a confiança está desmoronando pouco a pouco como peças de dominó”, disse uma fonte familiarizada com os assuntos internos da empresa, falando sob condição de anonimato.

Poucos funcionários estão dispostos a falar sobre isso publicamente. Parte do motivo é que a OpenAI é conhecida por fazer com que seus funcionários assinem acordos de desligamento que incluem cláusulas de não depreciação. na partida. Se você se recusar a assinar, poderá ser forçado a desistir das ações da sua empresa e potencialmente perder milhões de dólares.

No entanto, um ex-funcionário recusou-se a assinar um acordo de desligamento para poder criticar livremente a empresa. Daniel Cocotajiro ingressou na OpenAI em 2022 com a esperança de orientar a empresa na adoção segura de IA e trabalhou na equipe de governança até sair no mês passado.

“A OpenAI está treinando sistemas de IA cada vez mais poderosos com o objetivo de eventualmente superar a inteligência humana em todos os aspectos. Esta pode ser a melhor coisa que já aconteceu à humanidade, mas se não avançarmos, o pior pode acontecer”, Cocotajiro. me contou esta semana.

A OpenAI afirma que deseja construir inteligência artificial geral (AGI), um sistema virtual que pode funcionar em níveis humanos ou sobre-humanos em muitos domínios.

“Cheguei com grandes esperanças de que a OpenAI resolveria esta situação e agiria de forma mais responsável à medida que nos aproximamos de alcançar a AGI. Para muitos de nós, está cada vez mais claro que isso não acontecerá”, disse-me Cocotajiro. “Gradualmente perdi a fé na liderança da OpenAI e em sua capacidade de lidar com AGI de maneira responsável, então saí.”

E Reich pintou um quadro muito semelhante na sexta-feira, quando explicou por que estava deixando o cargo de co-líder da equipe do Super Alignment em um tópico X. “Há algum tempo eu estava em desacordo com a liderança da OpenAI nas principais prioridades da empresa, mas finalmente cheguei a um ponto de ruptura”, escreveu ele.

A OpenAI não respondeu a um pedido de comentário a tempo da publicação.

Por que a equipe de segurança da OpenAI passou a desconfiar de Sam Altman

Para entender o que aconteceu, temos que retroceder até novembro do ano passado. Foi quando Sutskever trabalhou com a diretoria da OpenAI para tentar demitir Altman. O conselho disse que Altman “não foi consistentemente sincero em suas comunicações”. Tradução: não confiamos nele.

A expulsão falhou espetacularmente. Altman e seu aliado, o presidente da empresa Greg Brockman, ameaçaram levar os principais talentos da OpenAI para a Microsoft e destruir efetivamente a OpenAI, a menos que Altman retornasse. Diante dessa ameaça, o conselho cedeu. Altman está de volta mais forte do que nunca, com novos membros do conselho mais solidários e mais liberdade para administrar a empresa.

Se você atirar no rei e errar, as coisas podem ficar complicadas.

Em público, Sutskever e Altman pareciam ter uma amizade contínua.E quando satskeva anunciado Ao se aposentar esta semana, ele disse que estava saindo para buscar “projetos que são pessoalmente significativos para mim”.altman Postado em X Depois de dois minutos, ele disse: Ilya… é um amigo querido.”

No entanto, Satskever não aparece no escritório da OpenAI há cerca de seis meses desde a tentativa de golpe. Ele co-lidera remotamente a Equipe de Super Alinhamento, encarregada de garantir que os futuros AGIs se alinhem com os objetivos da humanidade, em vez de prosseguir em uma direção nefasta. Essa é uma ambição bastante impressionante, mas está muito longe das operações diárias da empresa, que corre para comercializar produtos sob a liderança de Altman. Depois houve o seguinte tweet, postado logo após o retorno de Altman e rapidamente excluído:

Portanto, apesar da amizade pública, há motivos para suspeitar que Sutskever e Altman eram amigos depois que este tentou destituí-lo.

E a reação de Altman ao ser demitido revelou algo sobre seu personagem. A sua ameaça de esvaziar a OpenAI se o conselho não o recontratar, e a sua insistência em preencher o conselho com novos membros tendenciosos a seu favor, irão ajudá-lo a manter o poder e evitar riscos futuros. Confira. Ex-colegas de trabalho e funcionários o descreveram como um manipulador que fala pela boca. Por exemplo, alguém que afirma querer priorizar a segurança, mas cujas ações contradizem isso.

Por exemplo, Altman poderia arrecadar dinheiro de uma ditadura como a Arábia Saudita para iniciar uma nova empresa de fabricação de chips de IA, o que forneceria grandes quantidades de recursos tão necessários para construir IA de ponta. Isso era preocupante para os funcionários preocupados com a segurança. Se Altman realmente se preocupa em construir e implantar IA da maneira mais segura possível, por que ele está aparentemente numa corrida louca para acumular o máximo possível de chips que apenas acelerarão a tecnologia? trabalhando com um regime que poderia usar a IA para aumentar a vigilância digital e os abusos dos direitos humanos?

Tudo isso significa para os funcionários que “quando a OpenAI diz que vai fazer algo ou que se preocupa com algo, eles gradualmente perdem a fé de que isso é realmente verdade. Segundo uma pessoa familiarizada com os assuntos internos da empresa, isso levou a”.

Esse processo gradual culminou esta semana.

Jan Reik, colíder da equipe Super Alignment, não tentou jogar bem. “Eu me demiti,” ele postou no x, poucas horas depois de Sutskever anunciar sua renúncia. Não há despedida calorosa. Não há voto de desconfiança na liderança da empresa.

Outros ex-funcionários preocupados com a segurança tuitaram citações da demissão sincera de Reich com emojis de coração. Um deles é Leopold Aschenbrenner, aliado de Sutskever e membro da equipe Super Alignment que foi demitido da OpenAI no mês passado. Relatos da mídia disseram que Pavel Izmailov, outro pesquisador da mesma equipe, parece ter sido demitido por vazar informações. No entanto, a OpenAI não forneceu nenhuma evidência de violação. E dados os rígidos acordos de não divulgação que todos assinam quando ingressam na OpenAI, seria fácil considerar o compartilhamento de informações um “vazamento” para Altman. Se ele pretende eliminar os aliados de Sutskeva.

naquele mesmo mês Aschenbrenner e Izmailov foram forçados a sair, e outra pesquisadora de segurança, Karen O'Keefe, também deixou a empresa.

E há duas semanas, outro investigador de segurança, William Saunders, publicou uma publicação enigmática nos Fóruns da EA, um local de encontro online para membros do movimento Altruísmo Eficaz que estiveram profundamente envolvidos na causa da segurança da IA. Sanders resumiu o trabalho que realizou na OpenAI como parte da equipe Superalignment. Ele então escreveu: “Renunciei à OpenAI em 15 de fevereiro de 2024”. Os comentaristas fizeram a pergunta óbvia: “Por que o Sr. Sanders postou isso?”

Sanders respondeu: “Sem comentários”. Os comentaristas concluíram que ele provavelmente estava vinculado a um acordo de não difamação.

Tudo isso, combinado com conversas com pessoas internas, sugere que pelo menos algumas pessoas que tentaram empurrar a OpenAI em uma direção mais segura a partir de dentro acabaram perdendo a confiança no líder carismático e não conseguiram manter sua posição visível.

“Acho que muitas pessoas na empresa que levam a sério a segurança e o impacto social estão pensando nisso como uma questão em aberto: é uma boa ideia trabalhar para uma empresa como a OpenAI?” . “E se a OpenAI é realmente atenciosa e responsável pelo que faz, a resposta é apenas sim.”

Agora que a equipe de segurança foi desmontada, quem garantirá que o trabalho da OpenAI seja seguro?

Com Reich não comandando mais a equipe do Super Alignment, a OpenAI o substituiu pelo cofundador da empresa, John Schulman.

No entanto, a equipe ficou vazia. E Schulman já está ocupado com seu trabalho de tempo integral, garantindo que os produtos atuais da OpenAI sejam seguros. Quão sérios e proativos podemos esperar que a OpenAI tome medidas de segurança no futuro?

Provavelmente não tantos.

“A grande conclusão ao iniciar a Equipe de Super Alinhamento foi que, se a empresa tivesse sucesso na construção do AGI, haveria realmente todos os tipos de problemas de segurança”, disse-me uma pessoa familiarizada com o assunto. “Portanto, este foi um investimento dedicado em seu futuro.”

Mesmo quando a equipe estava em plena capacidade, esse “investimento comprometido” incluía uma pequena parcela dos pesquisadores da OpenAI e 20% de seu poder computacional, talvez o recurso mais importante em uma empresa de IA só estivesse prometido. Agora, esse poder computacional pode ser desviado para outras equipes OpenAI, e não está claro se o foco será evitar riscos catastróficos com futuros modelos de IA.

Para ser claro, isso não significa que os produtos que a OpenAI está lançando atualmente (como uma nova versão do ChatGPT chamada GPT-4o, que permite a interação natural com os usuários) irão destruir a humanidade. Mas o que virá do pique?

“É importante distinguir entre 'Eles estão atualmente construindo e implantando sistemas de IA inseguros?' 'Eles estão no caminho certo para construir e implantar AGI e superinteligência com segurança?'”, Disse uma fonte familiarizada com o assunto. “Acho que a resposta à segunda pergunta é não.”

Reich expressou as mesmas preocupações no tópico X de sexta-feira. Ele disse que a equipe tem lutado para obter poder computacional suficiente para fazer o trabalho e geralmente está “navegando contra o vento”.

O mais impressionante é que o Sr. Reich disse: “Acreditamos que precisamos gastar grande parte de nossa largura de banda na preparação para modelos de próxima geração: segurança, vigilância, preparação, segurança, robustez adversária, (hiper)coordenação, confidencialidade, impacto social, etc. Resolver estes problemas será muito difícil e temo que não estejamos no caminho certo para chegar lá. ”

Quando uma das principais mentes mundiais em segurança de IA diz que as principais empresas de IA do mundo não estão no caminho certo, temos razão em ficar preocupados.