Os militares israelenses empregaram uma “lista de mortes” baseada em inteligência artificial para selecionar mais de 30 mil alvos na Faixa de Gaza com o mínimo de intervenção humana, de acordo com a chocante nova investigação da revista +972. Foi revelado que as vítimas civis estão aumentando em áreas devastadas. pela guerra.
De acordo com as FDI, especialmente nas fases iniciais da guerra de Gaza, o pessoal das Forças de Defesa Israelitas (FDI) ignorou a taxa de falsos positivos de 10% da IA e foi forçado a voar para as suas casas, apesar do aumento do potencial de danos aos civis. alvejou deliberadamente supostos extremistas com “bombas idiotas” não guiadas. Fontes falaram com a revista +972.
Esta investigação revela as inúmeras maneiras pelas quais a tecnologia de IA de ponta e as regras frouxas de envolvimento dos comandantes das FDI no terreno se combinaram para acelerar as baixas civis de proporções alarmantes em Gaza. Pelo menos 33 mil palestinos foram mortos na operação israelense, que se segue a um ataque do Hamas que matou 1.200 israelenses em outubro passado.
O software de mira de IA, conhecido como “Lavender”, supostamente depende de uma ampla rede de vigilância que atribui a cada habitante de Gaza uma pontuação de 1 a 100, que estima a probabilidade de eles serem militantes do Hamas. Os soldados então inserem essas informações em um software chamado “Where’s Daddy”, que usa IA para alertá-los quando suspeitos de extremismo retornam para suas casas.
Um relatório anterior da revista +972 revelou a existência de um sistema de IA semelhante chamado “The Gospel” que tem como alvo casas usadas por grupos armados. Em ambos os casos, a revista +972 exagera o papel e o impacto destas ferramentas de alta tecnologia, disse a IDF.
“O cenário apocalíptico do algoritmo assassino já está em curso em Gaza”, argumenta Brianna Rosen, investigadora sénior da Just Security e da Universidade de Oxford que trabalhou no Conselho de Segurança Nacional durante a administração Obama.
RS entrevistou Rosen sobre o uso de IA por Israel em Gaza, as últimas revelações sobre como a IA está mudando a guerra e o que os legisladores dos EUA deveriam fazer para regular a tecnologia militar. Pedi sua opinião. A conversa a seguir foi editada para maior extensão e clareza.
RS: O que este novo relatório da revista +972 nos diz sobre como Israel usou a IA em Gaza?
Rosen: Primeiramente gostaria de ressaltar que esta não é apenas uma revista +972. Na verdade, a própria IDF comentou estes sistemas. Embora muitos tenham afirmado que o relatório exagerou algumas das afirmações sobre o sistema de IA, o próprio Israel fez numerosos comentários que corroboram alguns destes factos. O relatório confirma uma tendência observada desde Dezembro com a utilização de IA por Israel na Faixa de Gaza: a IA está a aumentar o ritmo de selecção de alvos na guerra e a expandir o âmbito da guerra.
Como a própria IDF admite, utiliza a IA para acelerar a selecção de alvos, e os factos apoiam isso. Nos primeiros dois meses do conflito, Israel atacou cerca de 25 mil alvos, mais de quatro vezes mais alvos do que na guerra anterior em Gaza. E eles estão visando mais alvos do que nunca. À medida que o ritmo da selecção de alvos acelera, a IA também expande o âmbito da guerra, ou o conjunto de alvos potenciais para agir para a eliminação. Eles têm como alvo mais jovens agentes do que nunca. As operações anteriores teriam deixado Israel sem combatentes conhecidos e alvos militares legítimos. No entanto, neste relatório, [shows] Não parece mais ser uma barreira para matar. Nas próprias palavras de Israel, a IA está a actuar como um multiplicador de força, o que significa que elimina restrições de recursos que anteriormente impediam as FDI de identificar alvos suficientes. Agora, mesmo que não persigam tais objectivos, mesmo que os seus laços com o Hamas sejam tênues ou inexistentes, porque normalmente a sua morte teria um impacto mínimo nos objectivos militares, podem perseguir objectivos significativamente mais baixos.
Em suma, a IA está a aumentar o ritmo das operações e a expandir o conjunto de alvos, tornando a verificação de alvos e outras obrigações de precaução exigidas pelo direito internacional muito mais difíceis de cumprir. Tudo isto aumenta o risco de os civis serem mal identificados e alvos equivocados, contribuindo para as graves vítimas civis registadas até à data.
RS: Como isso se relaciona com a ideia de os humanos estarem “envolvidos” na tomada de decisões orientada pela IA?
Rosen: É sobre isso que estou realmente curioso. O debate sobre a IA militar há muito se concentra nas questões erradas. Eles concentraram-se na proibição de sistemas de armas letais autónomos, ou “robôs assassinos”, sem reconhecer que a IA já é uma característica generalizada da guerra. Outros países, incluindo Israel e os Estados Unidos, já estão a incorporar a IA nas operações militares. Eles estão dizendo que estão fazendo isso de maneira responsável, com os humanos totalmente “envolvidos”. Mas o que tenho, e penso que estamos a ver acontecer aqui em Gaza, é que mesmo que os humanos estejam totalmente envolvidos, a revisão humana das decisões tomadas pelas máquinas é fundamental. Como o ataque foi tão superficial, causaria sérios danos à população. civis.
O relatório, divulgado hoje, inclui verificação humana do resultado produzido pelo sistema de IA, que leva apenas 20 segundos, tempo suficiente para confirmar se o alvo é do sexo masculino. Uma mulher antes de autorizar um bombardeio.
Independentemente de essa afirmação específica ser realmente confirmada, há muita pesquisa acadêmica sendo feita sobre o risco de viés de automação da IA, e acho que isso está claramente em jogo aqui. Como esta máquina é tão inteligente e tem todos esses fluxos de dados e de inteligência entrando nela, existe o risco de que os humanos não questionem o suficiente seus resultados. O risco deste viés de automação é que, mesmo quando os humanos aprovam os alvos, eles simplesmente aprovam a decisão de usar a força, em vez de vasculharem os dados gerados por máquinas e examinarem retroativamente os alvos com muito cuidado. Simplesmente ainda não foi feito e, dadas as questões de explicabilidade e rastreabilidade, talvez nunca seja possível para os humanos compreender verdadeiramente como os sistemas de IA estão produzindo esses resultados.
A propósito, esta é uma das perguntas que fiz em meu artigo Just Security de dezembro. Os decisores políticos e o público precisam de pressionar Israel nesta questão: como é realmente o processo de revisão humana para estas operações? Isso é apenas um carimbo na decisão de usar a força ou há uma consideração séria?
RS: Neste caso, o uso de regras de envolvimento flexíveis pelas FDI parece ter amplificado o impacto da IA. Você poderia nos contar mais sobre a relação entre as tecnologias emergentes e as decisões políticas práticas sobre como usá-las?
Rosen: Esse é o outro problema aqui. Primeiro, há a questão da interpretação do direito internacional por parte de Israel. Em alguns aspectos, isto é muito mais permissivo do que a forma como outros estados interpretam princípios fundamentais como a proporcionalidade. Além disso, os sistemas de IA cometem inevitavelmente erros que causam danos aos civis. Este último relatório afirma que o sistema de Lavender, por exemplo, estava errado em 10% das vezes. Na verdade, a margem de erro pode ser ainda maior dependendo de como Israel classifica os indivíduos como extremistas do Hamas.
O sistema de IA é treinado em dados para identificar características específicas de pessoas que Israel afirma serem agentes do Hamas ou da Jihad Islâmica Palestina, e alimenta esses dados na máquina. Mas e se as características que eles identificam forem muito amplas? Por exemplo, estar em posse de uma arma, fazer parte de um grupo de WhatsApp com alguém associado ao Hamas, ou mesmo simplesmente deslocar-se com frequência. O país inteiro é um refugiado. Isto é uma grande preocupação porque se estas características forem inseridas num sistema de IA para identificar extremistas, o sistema irá recolher esses dados e identificar incorretamente os civis na maior parte das vezes.
Pode-se dizer que Israel segue o direito internacional e que há revisão humana de todas estas decisões, e tudo isso pode ser verdade. Mas, novamente, esta é a interpretação de Israel do direito internacional. E é assim que eles definem quem conta como combatente nesta guerra e como esses dados são inseridos nos sistemas de IA. Todas essas coisas podem se combinar e causar danos realmente graves.
E todos os problemas bem documentados com a IA em contextos domésticos, desde os preconceitos fundamentais dos algoritmos até aos problemas com alucinações, irão sem dúvida persistir na guerra e só irão piorar devido ao seu ritmo. de tomada de decisão. Nada disso será revisado com muito cuidado. Por exemplo, sabemos que Israel criou sistemas de vigilância extensivos na Faixa de Gaza, e todos estes dados são alimentados em sistemas de IA para contribuir para estes resultados de segmentação. Os preconceitos subjacentes nestes sistemas contribuem e agravam os erros no resultado final da focalização. Se a revisão humana for superficial, as consequências serão graves danos aos civis. Isso é o que vimos.
RS: Os Estados Unidos estão interessados em IA para uma série de aplicações militares, incluindo a enxameação autónoma de drones letais. O que a experiência de Israel nos diz sobre como os legisladores americanos deveriam abordar esta tecnologia?
Rosen: Isto mostra que os decisores políticos dos EUA precisam de ser muito cautelosos sobre a utilização da IA tanto em operações de inteligência como em operações militares. A Casa Branca, o Departamento de Defesa e outras agências fizeram inúmeras declarações sobre a IA responsável, especialmente no contexto militar. No entanto, tudo isso ocorre apenas no nível dos princípios.
Tudo depende de como estes princípios gerais para a utilização responsável da IA militar são operacionalizados na prática. E, claro, ainda não vimos os Estados Unidos recorrerem publicamente a estas ferramentas. colisão. Mas está definitivamente a chegar, e os Estados Unidos estão a aproveitar este momento não só para aprender todas as lições do que está a acontecer em Gaza, mas também para operacionalizar estes princípios gerais para a utilização responsável da IA militar. entre outras nações. Somos líderes mundiais na adesão a estes princípios para a IA militar. Embora algum sucesso tenha sido alcançado, o progresso tem sido muito lento. Isso é o que é desesperadamente necessário neste momento.
De um artigo em seu site
Artigos relacionados na web
