COs funcionários de algumas das maiores empresas de IA do mundo têm sérias preocupações sobre a segurança no emprego e os incentivos que promovem a liderança, de acordo com um relatório divulgado segunda-feira.
O relatório, encomendado pelo Departamento de Estado e de autoria de funcionários da Gladstone AI, explora como os Estados Unidos podem responder ao que consideram serem riscos significativos à segurança nacional colocados pela IA avançada. Fizemos várias recomendações sobre o que deveria ser feito.
consulte Mais informação: Exclusivo: Os EUA precisam agir “decisivamente” para evitar a ameaça de “nível de extinção” da IA, afirma relatório encomendado pelo governo
Os autores do relatório conversaram com mais de 200 especialistas para este relatório. Isso inclui funcionários da OpenAI, Google DeepMind, Meta e Anthropic. Todos esses grandes laboratórios de IA estão trabalhando em “inteligência artificial geral”, uma tecnologia hipotética que pode executar a maioria das tarefas tão bem ou melhor. nível humano. Os autores compartilharam uma seleção de preocupações que alguns funcionários desses laboratórios compartilharam em particular, sem nomear os indivíduos ou as empresas específicas para as quais trabalhavam. OpenAI, Google, Meta e Anthropic não responderam imediatamente aos pedidos de comentários.
“Através deste projeto, agimos como uma câmara de compensação de fato para as preocupações dos pesquisadores de fronteira que não estão convencidos de que a trajetória padrão de sua organização evitará consequências catastróficas”, disse Jeremy Harris, CEO e um dos pesquisadores. Os autores do relatório disseram à TIME.
Um funcionário não especificado do AI Institute disse que o relatório caracterizou o instituto como tendo uma “abordagem frouxa em relação à segurança” decorrente do desejo de não retardar o trabalho do instituto para construir um sistema mais poderoso. Compartilhamos nossas preocupações com os autores do relatório sobre ter algo anexado a eles. Outra parte interessada expressou preocupação pelo facto de existirem medidas de contenção insuficientes para evitar que a AGI escape ao controlo, embora os laboratórios acreditem que a AGI possa ocorrer num futuro próximo.
Outros também expressaram preocupações com a segurança cibernética. “Na opinião pessoal de muitos funcionários técnicos, as medidas de segurança em vigor em muitos laboratórios de IA de ponta são insuficientes para resistir a uma campanha sustentada de exfiltração de IP por parte de atacantes sofisticados”, afirma o relatório. “Dado o atual estado de segurança no Frontier Labs, parece provável que uma tentativa de exfiltração tão exemplar não teria sucesso, mesmo sem o apoio direto do governo dos EUA.”
Muitos dos que partilharam estas preocupações fizeram-no enquanto se debatiam com o cálculo de que tornar públicas as suas denúncias provavelmente significaria que perderiam a capacidade de influenciar decisões importantes no futuro, disse Harris. “Não posso exagerar o nível de preocupação que algumas pessoas destes institutos têm sobre o processo de tomada de decisão e como os incentivos executivos influenciam decisões importantes.” disse ele à TIME. “As pessoas que monitoram mais de perto o lado do risco da equação e muitas vezes são as mais bem informadas têm o maior nível de preocupação.”
Você é funcionário do AI Institute e tem uma preocupação que pode considerar compartilhar com jornalistas? O autor deste artigo no Signal pode ser contatado em billyperrigo.01.
Os autores argumentam que o facto de os actuais sistemas de IA ainda não terem resultado em consequências catastróficas para a humanidade não é prova de que sistemas maiores sejam seguros no futuro. “Um dos grandes temas que ouvimos das pessoas na linha de frente sobre o que está sendo desenvolvido em segredo neste momento é que é como um jogo de roleta russa”, disse o diretor de tecnologia da Gladstone, Edward Harris. Ele também é coautor deste relatório. “Olha, puxamos o gatilho. Ei, está tudo bem, vamos puxar o gatilho de novo.”
consulte Mais informação: Como pode a IA evoluir sem sacrificar a segurança ou a democracia?
Nos últimos 12 meses, muitos governos mundiais perceberam os riscos representados pelos sistemas avançados de IA. Em Novembro, o Reino Unido acolheu uma Cimeira de Segurança da IA, na qual os líderes mundiais se comprometeram a trabalhar em conjunto para estabelecer padrões internacionais para a tecnologia, e em Outubro, o Presidente Biden anunciou a criação de um instituto de investigação de IA baseado no Congresso dos EUA. definição de padrões de segurança para A Lei AI ainda não foi aprovada. Isso significa que há poucas restrições legais sobre o que os laboratórios de IA podem ou não fazer quando se trata de treinar modelos avançados.
A ordem executiva de Biden apela ao Instituto Nacional de Padrões e Tecnologia para estabelecer “padrões rigorosos” para os testes que os sistemas de IA devem passar antes de serem divulgados ao público. No entanto, o relatório Gladstone recomenda que os reguladores governamentais não dependam fortemente deste tipo de avaliação de IA. Avaliações de IA são comumente realizadas hoje para testar se um sistema de IA possui características ou comportamentos perigosos. O relatório observa que se as questões forem conhecidas antecipadamente, o modelo de IA pode ser superficialmente ajustado ou “ajustado” pelos seus criadores para passar na avaliação, tornando a avaliação “facilmente comprometida ou manipulada”. será feito.” É importante ressaltar que, com esses ajustes, é mais fácil ensinar o modelo a ocultar melhor o comportamento de risco do que removê-lo completamente.
O relatório cita um suposto especialista com “conhecimento directo” das práticas de um laboratório de IA, que afirma que o laboratório anónimo está a manipular as suas classificações desta forma. “As avaliações de IA só podem revelar a presença de características perigosas, e não confirmar a sua ausência”, afirma o relatório. “A dependência excessiva das avaliações de IA pode criar uma falsa sensação de segurança entre os desenvolvedores de IA.” [and] Autoridade reguladora. ”
