Depois de muita especulação, o Instituto Nacional de Segurança de IA, parte do Instituto Nacional de Padrões e Tecnologia (NIST), finalmente anunciou sua equipe de liderança.
Paul Cristiano, que foi nomeado chefe de segurança de IA e ex-pesquisador da OpenAI que foi pioneiro em uma técnica fundamental de segurança de IA chamada aprendizagem por reforço a partir de feedback humano (RLHF), disse acreditar que o desenvolvimento da IA pode acabar. o sexo é 50% verdadeiro. O pedigree de investigação de Cristiano é impressionante, mas ao nomear um chamado “destruidor de IA”, o NIST corre o risco de encorajar um pensamento não científico que muitos críticos consideram mera especulação.
Há rumores de que os funcionários do NIST são contra a adoção. O polêmico relatório VentureBeat do mês passado citou duas fontes anônimas que alegaram que os funcionários do NIST estavam em uma “revolta”, aparentemente por causa das chamadas opiniões de “destruidor de IA” de Cristiano. A VentureBeat informou que alguns funcionários e cientistas acreditam que o altruísmo eficaz e “o longo prazo podem minar a objetividade e a integridade do instituto” e “estão ligados a Cristiano”.
A missão do NIST é promover a ciência trabalhando para “promover a inovação e a competitividade industrial dos EUA, avançando a ciência, os padrões e a tecnologia de medição de maneiras que fortaleçam a segurança econômica e melhorem a qualidade de vida”. Os altruístas eficazes acreditam em “usar a evidência e a razão para encontrar formas de beneficiar os outros tanto quanto possível”, enquanto os a longo prazo acreditam em “fazer mais para proteger as gerações futuras” “deveriam”, mas ambos são mais subjetivos e baseados em opiniões.
No podcast Bankless, Cristiano disse no ano passado que havia “uma chance de 10 a 20 por cento de uma aquisição da IA”, o que poderia resultar em morte humana, e que “no geral, há provavelmente uma chance de 50 a 50 de que a IA assuma o controle”. acabou.” Há uma grande possibilidade de que ele seja sequestrado.'' Se tivéssemos um sistema de IA de nível humano, em breve estaríamos condenados. ”
“Provavelmente morreremos porque temos enormes quantidades de IA em todos os lugares, em vez de a IA aparecer de repente e matar todo mundo… [And] Se por alguma razão, Deus nos livre, todos esses sistemas de IA estiverem tentando nos matar, eles definitivamente nos matarão”, disse Cristiano.
Os críticos dos chamados “destruidores da IA” argumentam que, ao focar em sistemas hipotéticos de IA assassinos e em histórias potencialmente rebuscadas sobre os riscos existenciais da IA, existem problemas atuais com o meio ambiente, privacidade, ética, preconceito, etc. impedir que a humanidade se concentre nos danos percebidos da IA. Emily Bender, professora de linguística computacional na Universidade de Washington, alerta que os pessimistas da IA estão sabotando importantes trabalhos éticos na área, acrescentando que a ordem executiva de IA de Joe Biden tem “implicações bizarras”. ”, ele disse a Ars. “Estou preocupado com estes cenários fantasiosos” e “essa é a questão fundamental que leva à nomeação de Cristiano”.
“Acho que o NIST provavelmente teve a oportunidade de levar isso em uma direção diferente”, disse Bender a Ars. “E é uma pena que eles não tenham feito isso.”
Como chefe de segurança de IA, Cristiano provavelmente precisará monitorar os riscos atuais e potenciais. De acordo com um comunicado de imprensa do Departamento de Comércio, ele “projetou e conduziu testes de modelos Frontier AI, com ênfase na avaliação de modelos para capacidades que abordam questões de segurança nacional”, liderou o processo de avaliação e liderou “testes de modelos Frontier AI, com uma ênfase na avaliação de modelos de capacidades que atendam às preocupações de segurança nacional.” A empresa planeja implementar “a mitigação de riscos para melhorar a segurança de seus modelos”. .
Cristiano tem experiência na mitigação de riscos de IA. Ele deixou a OpenAI e fundou o Alignment Research Center (ARC), que o Departamento de Comércio descreve como uma “organização de pesquisa sem fins lucrativos que visa avançar na pesquisa teórica para alinhar futuros sistemas de aprendizado de máquina aos interesses humanos da organização”. Parte da missão da ARC é testar se os sistemas de IA estão evoluindo para manipular ou enganar os humanos, de acordo com o site da ARC. A ARC também está conduzindo pesquisas para ajudar os sistemas de IA a escalar “bem”.
O histórico de pesquisa de Cristiano levou alguns, como Divyansh Kaushik, vice-diretor de tecnologias emergentes e segurança nacional da Federação de Cientistas Americanos, a pensar que ele é uma boa opção para liderar o laboratório de segurança. No X (anteriormente Twitter), Kaushik escrever O laboratório de segurança foi projetado para reduzir os riscos químicos, biológicos, radiológicos e nucleares da IA, e Cristiano disse que está “muito adequado” para testar esses modelos de IA. Mas Kaushik alertou que a nomeação de Cristiano seria “obviamente séria se o que os cientistas do NIST ameaçam demitir for verdade”.
O Departamento de Comércio não comentou sobre o quadro de pessoal, por isso não está claro se alguém realmente renunciou ou está planejando fazê-lo durante a nomeação de Cristiano. Desde este anúncio, Ars não conseguiu encontrar nenhum anúncio público da equipe do NIST sugerindo que eles possam estar considerando a demissão.
Além de Cristiano, a equipe de liderança do Safety Institute inclui Mara Quintero Campbell, funcionária do Departamento de Comércio que atuou como COO interina e chefe de gabinete e liderou projetos relacionados à resposta à COVID-19 e à aplicação da Lei CHIPS. Adam Russell, especialista em equipes, previsão e inteligência coletiva humano-IA, atuará como diretor de visão. Rob Reich, um especialista em IA centrado no ser humano que está de licença da Universidade de Stanford, se tornará consultor sênior. Mark Rattonello, ex-especialista em políticas globais de IA da Casa Branca que ajudou a redigir a ordem executiva de IA de Biden, será responsável pelo envolvimento internacional.
A Secretária de Comércio dos EUA, Gina Raimondo, disse: “Para proteger a liderança global da nossa nação em IA responsável e para garantir que estamos preparados para cumprir a nossa missão de reduzir os riscos e aproveitar os benefícios da IA, temos o poder de oferecer ao nosso país. ''Precisamos das melhores pessoas.” disse em um comunicado de imprensa. “É exatamente por isso que selecionamos os melhores em suas áreas para se juntarem à equipe de liderança executiva do American AI Safety Institute.”
Segundo reportagem da VentureBeat, Raimondo nomeou pessoalmente Cristiano.
Bender disse a Ars que o NIST não veria nenhum benefício em incluir “cenários apocalípticos” em seu estudo sobre “como agências governamentais e não governamentais usam a automação”.
“O problema fundamental da narrativa de segurança da IA é que ela desvaloriza os humanos”, disse Bender a Ars. “Mas o que precisamos nos preocupar não é com o que a tecnologia fará de forma autônoma, mas com o que os humanos farão com ela.”
