Nosso governo não deveria usar o setor público como cobaia para IA

No mês passado, a cidade de Nova York passou por um escrutínio cada vez maior depois que foi revelado que um chatbot alimentado por IA estava fornecendo informações falsas e incentivando proprietários de pequenas empresas a infringirem leis e violarem as proteções de trabalhadores e inquilinos. Quando questionado sobre a ascensão dos chatbots, relatados pela primeira vez pela organização de notícias investigativas The Markup, o prefeito de Nova York, Eric Adams, disse:[a]Sempre que você usa tecnologia, você precisa colocá-la em um ambiente real e resolver um problema. ”

Semanas depois, o chatbot ainda funciona e oferece conselhos incorretos. E as “reviravoltas” que estão sendo resolvidas estão sendo resolvidas às custas dos humanos reais.

A filosofia de “agir rapidamente e quebrar as coisas” invocada por Adams pode ainda prevalecer entre os empresários de Silicon Valley, mas os governos não são responsabilizados pelas consequências de tais fracassos. Esta é uma orientação terrível para o sector público porque este está em dívida com eles. O episódio do chatbot em Nova Iorque ilustra perfeitamente como a adoção prematura de novas tecnologias, especialmente a IA, pode custar aos governos e aos cidadãos muito mais do que os benefícios.

Construído pela Microsoft e lançado em outubro como parte do Plano de Ação de Inteligência Artificial da Cidade de Nova York (considerado o primeiro desse tipo em uma grande cidade dos EUA), o chatbot está disponível no site da Small Business Services Administration. no site e inclui informações como: O objetivo é fornecer aos proprietários de empresas “acesso a informações confiáveis” obtidas de fontes oficiais da cidade para “iniciar, administrar e expandir seus negócios”. Isso parece bastante inofensivo. E que empresário não se sentiria atraído pela promessa de respostas diretas e instantâneas, em vez de cliques chatos e mundanos para encontrar o FAQ, formulário ou número de telefone certo?

Se os chatbots tivessem sido implementados com sucesso, talvez pudessem ter facilitado os esforços para agilizar e melhorar os serviços públicos da cidade. Em vez disso, os chatbots representam uma série de problemas potenciais para os governos municipais e colocam os residentes em risco.

Por exemplo, de acordo com uma investigação da The Markup, os chatbots afirmaram falsamente que os empregadores poderiam receber gorjetas dos trabalhadores. Em teoria, a cidade de Nova York tem as proteções trabalhistas mais fortes dos Estados Unidos. Mas estas leis são difíceis de aplicar, especialmente quando os chatbots aprovados pelo governo fornecem informações falsas aos proprietários de empresas sobre elas. Além disso, uma vez que os relatórios de roubo de salários se baseiam em queixas dos trabalhadores, é provável que tais informações falsas dissuadam os trabalhadores de apresentar queixas. Quando os trabalhadores suspeitam que seus direitos estão sendo violados pela retenção de gorjetas, os empregadores podem usar chatbots de IA que fingem autoridade e legitimidade, como a cidade de Nova York implantou, para que você possa refutar a alegação.

Proteger os direitos dos trabalhadores já é difícil, mas os sistemas tecnológicos podem torná-lo ainda mais difícil. A pesquisa da Data & Society demonstrou como os sistemas automatizados podem aumentar a imprevisibilidade do trabalho por meio de software de agendamento, e que o roubo de chips pode ser automatizado com plataformas como Amazon Flex e Instacart. Na verdade, a Amazon Flex foi multada em US$ 60 milhões pela Federal Trade Commission por esta prática. As leis existentes, como a Lei de Proteção às Gorjetas e a Lei de Agendamento Justo, podem responsabilizar os empregadores, independentemente das ferramentas que utilizam, mas a proteção dos trabalhadores só é tão eficaz quanto a sua aplicação.

Um relatório recente da Data & Society e da Cornell University examinou uma lei da cidade de Nova Iorque que exige que os empregadores notifiquem os candidatos a empregos caso utilizem ferramentas automatizadas de decisão de contratação durante o processo de contratação ou promoção. Eles descobriram que o cumprimento da lei parecia ser alarmantemente baixo, limitando a sua utilidade para quem procura emprego.

A divulgação de informações falsas também pode criar problemas jurídicos para as próprias cidades e para as empresas. Em uma ação judicial recente, a Air Canada perdeu uma ação de pequenas causas movida por uma passageira que alegou que o chatbot de IA da companhia aérea a enganou sobre sua política de luto. Se a empresa em questão fosse o governo, o governo poderia ser responsabilizado por fornecer informações falsas e os trabalhadores poderiam, por sua vez, agir com base em informações falsas e ser colocados em posição de violar a lei.

O público deve ter a oportunidade de fornecer informações sobre quais tecnologias são introduzidas no governo, uma vez que os governos trabalham com essas agências e podem ser afetados negativamente pelos sistemas de IA que implantam. No final das contas, é uma questão de confiança. Se os cidadãos não puderem confiar que o seu governo democraticamente eleito conheça os seus direitos, e se estes intermediários tecnológicos forem os seus representantes, então não poderão confiar nas mesmas pessoas para proteger os seus direitos.

À medida que os governos continuam a adoptar mais tecnologia, é imperativo que as novas ferramentas sejam minuciosamente avaliadas e testadas antes de serem lançadas no mundo. A IA tem o potencial de melhorar drasticamente muitos processos governamentais, permitindo potencialmente que as cidades forneçam melhores serviços. Mas se for mal concebida, sem prestar atenção à forma como a tecnologia está integrada na sociedade, pode mudar as relações de poder e a forma como as pessoas reportam ao governo. Neste caso, o resultado mais provável é uma maior erosão da confiança nas instituições públicas, minando as próprias leis e regulamentos que a cidade está encarregada de articular e proteger.

Aiha Nguyen é Diretora do Programa Futuro do Trabalho da Data & Society. Este programa visa compreender melhor as perturbações emergentes na força de trabalho como resultado de desenvolvimentos tecnológicos centrados em dados e criar novas estruturas para compreender estas perturbações através de investigação baseada em evidências. E colaboração.