Como a IA está acelerando o bombardeio de Gaza por Israel

Israel está alegadamente a usar a IA para orientar a sua guerra em Gaza e está a tratar as suas decisões quase como uma verdade. Na verdade, um dos sistemas de IA em uso é literalmente chamado de “Evangelho”.

Um estudo em grande escala publicado no mês passado pela agência de notícias israelense +972 Magazine descobriu que Israel depende da IA ​​para decidir quem será o alvo para matar, especialmente nos estágios iniciais de uma guerra. guerra. O estudo baseia-se num comentário anterior do mesmo meio de comunicação, que descreveu três sistemas de IA trabalhando juntos.

“Evangelho” marca um edifício supostamente usado por militantes do Hamas. Lavender é treinada com base em dados sobre extremistas conhecidos e examina dados de vigilância de quase todas as pessoas em Gaza, desde fotos a contactos telefónicos, para avaliar a probabilidade de cada pessoa ser um extremista. Aqueles com classificações mais altas serão colocados na lista de mortes. e “Onde está o papai?” Agentes de inteligência israelenses disseram ao +972 que rastreiam esses alvos e informam os militares quando eles estão nas casas de suas famílias. Porque é mais fácil bombardear lá do que dentro de um edifício militar protegido.

resultado? De acordo com funcionários dos serviços secretos israelitas entrevistados pelo +972, aproximadamente 37.000 palestinianos foram alvo de assassinato e milhares de mulheres e crianças foram mortas como danos colaterais devido a decisões geradas pela IA. Como escreve +972, “Lavender desempenhou um papel central no bombardeio sem precedentes contra os palestinos que começou logo após o ataque mortal do Hamas contra civis israelenses em 7 de outubro”.

O elevado número de mortos na guerra (pelo menos 34.735 até à data) pode ser parcialmente explicado pelo uso da IA, que levou a críticas internacionais a Israel e ao Tribunal Internacional de Justiça.

Embora ainda existam “seres humanos envolvidos” (termo técnico para aqueles que aprovam ou discordam das recomendações da IA), os soldados israelenses disseram ao +972 que controlam essencialmente a produção da IA ​​“Eles trataram isso como se fosse uma decisão humana. ” e às vezes como se fosse uma decisão humana, disse ele. Ele disse que passou “20 segundos” observando os alvos antes de bombardear e encorajou a liderança militar a aprovar automaticamente a lista de mortes de Lavender nas primeiras semanas da guerra. De acordo com +972, isso ocorreu “apesar de saber que o sistema cometeria o que seria considerado um ‘erro’ em cerca de 10% dos casos”.

Os militares israelitas negam a utilização de IA para seleccionar alvos humanos, afirmando em vez disso que os militares israelitas têm uma “base de dados destinada a cruzar fontes de inteligência”. Mas o secretário-geral da ONU, António Guterres, disse estar “profundamente preocupado” com o relatório, e o porta-voz da segurança nacional da Casa Branca, John Kirby, disse que os EUA estavam a investigar o assunto.

O que o resto de nós deveria pensar sobre o papel da IA ​​em Gaza?

Os proponentes da IA ​​dizem muitas vezes que a tecnologia é neutra (“é apenas uma ferramenta”) ou afirmam que a IA tornará a guerra mais humana (“ajudará a torná-la mais precisa”). Sim, mesmo assim, mas o uso relatado de IA militar por Israel. sem dúvida aponta exatamente para isso. Oposição.

“Muitas vezes essas armas não são Elke Schwartz, uma teórica política que estuda a ética da IA ​​militar na Queen Mary University de Londres, me contou. “O incentivo é usar este sistema em escala de uma forma que aumente a violência, e não a diminua.”

Schwartz argumenta que nossa tecnologia realmente molda a maneira como pensamos e valorizamos. Achamos que estamos impulsionando a tecnologia, mas até certo ponto a tecnologia está nos impulsionando. Na semana passada, falei com ela sobre como os sistemas militares de IA podem levar à complacência moral, encorajar os usuários a agir em vez da inação e levar as pessoas a priorizar a velocidade em vez do raciocínio ético ponderado. Uma transcrição de nossa conversa, editada para maior extensão e clareza, segue abaixo.

Sigal Samuel

Você está surpreso ao saber que Israel está supostamente usando sistemas de IA para dirigir a guerra em Gaza?

Elke Schwarz

Não, de jeito nenhum. Há anos que há relatos de que Israel provavelmente possui vários tipos de armas alimentadas por IA. E não há segredo nesta busca, pois eles deixaram bem claro que desenvolveram essas capacidades e se consideram uma das forças militares digitais mais avançadas do mundo.

Se você apenas olhar para o Project Maven nos EUA, sistemas como Lavender e Gospel não são surpreendentes. [the Defense Department’s flagship AI project], que começou como um algoritmo de análise de vídeo, tornou-se agora um sistema de recomendação direcionado. Então sempre pensamos que iríamos nessa direção e foi exatamente isso que aconteceu.

Sigal Samuel

O que me impressionou foi como os tomadores de decisão humanos estavam fora de alcance. Oficiais militares israelenses disseram que gastariam apenas cerca de “20 segundos” em cada alvo antes de autorizar o bombardeio.Oh sério Você quer me surpreender?

Elke Schwarz

Não, também não foi isso. Nos últimos cinco anos, um debate dentro das forças armadas tem sido a ideia de acelerar a “cadeia de morte” ou usar IA para aumentar a letalidade. Uma frase frequentemente usada é “encurtar o cronograma do sensor ao atirador”, o que basicamente significa tornar o tempo desde a entrada até o disparo da arma muito mais rápido.

O apelo e o fascínio destes sistemas de IA reside no facto de operarem a velocidades muito elevadas e em vastas escalas, sugerindo um grande número de alvos num curto período de tempo. Em outras palavras, os humanos se tornam como autômatos que apertam um botão e dizem: “Ok, isso parece bom”.

As publicações de defesa sempre falaram sobre o Projeto Convergência, outra América. [military] Na verdade, este programa foi projetado para reduzir o cronograma do sensor para o fotógrafo de minutos para segundos. Portanto, o valor de 20 segundos é claramente consistente com o que tem sido relatado ao longo dos anos.

Sigal Samuel

Para mim, isto levanta questões sobre o determinismo tecnológico, a ideia de que a tecnologia determina a forma como pensamos e valorizamos. O estudioso militar Christopher Coker disse uma vez: “Devemos escolher cuidadosamente as nossas ferramentas, não porque sejam desumanas (todas as armas o são), mas porque quanto mais dependemos delas, mais afectam o nosso mundo.

Você escreveu um lembrete disso em seu artigo de 2021. “Quando a IA e o raciocínio humano formam um ecossistema, as possibilidades de controle humano são limitadas.” Como irá a IA suprimir a agência humana e remodelar os humanos como agentes morais?

Elke Schwarz

De muitas maneiras. Uma delas é sobre carga cognitiva. Com todos os dados sendo processados, é preciso confiar nas decisões da máquina. Primeiro, você não sabe quais dados serão coletados e como serão aplicados ao modelo. Mas também existem diferenças cognitivas entre a forma como o cérebro humano processa as coisas e a forma como os sistemas de IA fazem cálculos. Isso leva ao que chamamos de “viés de automação”. Basicamente, isso significa que, como humanos, tendemos a nos submeter à autoridade das máquinas. Porque presumimos que as máquinas são melhores, mais rápidas e cognitivamente mais poderosas do que nós.

A outra coisa é a consciência situacional. Quais são os dados que estão chegando? Qual é o algoritmo? Todas estas são questões que os operadores e outros envolvidos precisam de saber, mas na maioria das vezes não o fazem, limitando a sua própria consciência situacional do contexto que precisam de monitorizar. Se tudo o que você sabe é exibido em uma tela de dados, pontos e gráficos, você considera isso um dado adquirido, mas sua percepção da situação no campo de batalha se torna muito limitada.

E depois há o elemento da velocidade. Os sistemas de IA simplesmente não são bons o suficiente [mental] Recursos que não são Considere suas sugestões como um apelo à ação. Não temos meios para intervir com base na lógica humana. É semelhante à forma como os telefones celulares são projetados para que os usuários sintam a necessidade de reagir. Por exemplo, quando um ponto vermelho aparece em um e-mail, seu primeiro instinto é, claro, clicar nele. Clique! Como tal, é mais provável que eles levem os usuários a agir do que não. E o facto é que se lhe for apresentada uma escolha binária entre matar ou não matar, e se estiver numa situação terrível, é mais provável que tome medidas e descarregue a sua arma.

Sigal Samuel

Como isso se relaciona com o que a filósofa Shannon Valler chama de “desqualificação moral” (seu termo para o impacto negativo que a tecnologia tem em nossa educação moral)?

Elke Schwarz

Existe uma tensão inerente entre a deliberação moral, ou a reflexão sobre as consequências das nossas ações, e os imperativos de velocidade e escala. Ética é refletir e reservar um tempo para perguntar: “Esses são realmente os parâmetros que queremos ou o que estamos fazendo apenas vai aumentar o número de vítimas civis?”

Se não lhe for dado espaço e tempo para praticar esses conceitos morais que todo militar deveria ter e geralmente tem, você se tornará um autômato. Em outras palavras, você está dizendo: “Sou parte da máquina”. O cálculo moral já foi feito por alguém em algum lugar, mas não é mais minha responsabilidade. ”

Sigal Samuel

Isso está relacionado a outra coisa que sempre me perguntei: a questão da intenção. No contexto do direito internacional, como os julgamentos de genocídio contra Israel, é fundamental demonstrar a intenção entre os decisores humanos. Mas como devemos pensar sobre a intenção quando a tomada de decisões é terceirizada para a IA Se a tecnologia remodelar a nossa cognição, quem assumirá a responsabilidade moral pelo mau comportamento na guerra incentivada pelos sistemas de IA? Será ainda mais difícil dizer quem é o responsável?

Elke Schwarz

Um contra-argumento é que os humanos estão sempre em algum lugar no circuito, pelo menos porque são os humanos que tomam as decisões de usar esses sistemas de IA. Mas isso não é tudo sobre responsabilidade moral. Algo tão moralmente importante como a guerra tem múltiplos nós de responsabilidade e há muitos aspectos moralmente problemáticos na tomada de decisões.

E se você tiver um sistema que distribui intenções, qualquer subsistema pode ser negado de forma válida. Você pode dizer: “Esta é a nossa intenção, e o sistema de IA fará isso e veremos os resultados”. Portanto, é difícil determinar a intenção, o que torna tudo muito difícil. Máquinas não fazem entrevistas.

Sigal Samuel

A IA é uma tecnologia de uso geral que pode ser usada para diversos fins, às vezes benéficos e às vezes prejudiciais. Então, como podemos prever onde a IA pode causar mais danos do que benefícios e impedir tais utilizações?

Elke Schwarz

Todas as ferramentas podem ser modificadas para se tornarem armas. Até um travesseiro pode se tornar uma arma se for ruim o suficiente. Você pode matar alguém com um travesseiro. Não estamos proibindo todos os travesseiros. Mas se a sociedade atual tende a usar travesseiros para propósitos malignos, e os travesseiros são tão fáceis de acessar, algumas pessoas realmente projetam travesseiros feitos para sufocar as pessoas. Algumas perguntas!

Para isso, precisamos estar atentos à sociedade, às suas tendências e tendências. Você não pode enterrar a cabeça na areia. E neste ponto, existem relatórios suficientes sobre como a IA está sendo usada para fins problemáticos.

As pessoas sempre dizem que a IA tornará a guerra mais ética. O mesmo aconteceu com os drones. Como temos vigilância, podemos ser mais precisos e não temos de lançar bombas de fragmentação ou conduzir operações aéreas em grande escala. E é claro que há algo nisso. No entanto, estas armas muitas vezes não são utilizadas de forma tão precisa.

Na verdade, reduz o limite para o uso da violência, tornando muito mais fácil aplicá-la. O incentivo é usar o sistema em larga escala de forma a aumentar a violência em vez de reduzi-la.

Sigal Samuel

O que mais me impressionou na pesquisa do +972 foi que os sistemas de IA de Israel não causaram violência, mas sim a intensificaram. O Sistema Lavender marcou 37.000 palestinos para assassinato. Assim que os militares adquirirem a capacidade técnica para o fazer, os soldados ficarão sob pressão para acompanhar. Uma fonte sênior disse ao +972: “Estávamos constantemente sob pressão para 'trazer mais alvos'. Eles estavam realmente gritando conosco. Acabou. [killing] Nossos objetivos serão alcançados muito rapidamente. ”

Elke Schwarz

Essa é uma espécie de lógica capitalista, não é? É a lógica da correia transportadora. Isso significa que precisamos de mais dados e mais ações. Se envolver assassinato, isso é um problema real.