Governador do Tennessee assina Lei ELVIS para proteger artistas da IA
O governador do Tennessee, Bill Lee, assinou a Lei de Segurança de Similaridade de Áudio e Imagem (Lei ELVIS), que protege os artistas do abuso de IA.
Por que não pedir conselhos a um chatbot?Um novo estudo alerta que a resposta pode depender de quão negro seu nome soa.
Um artigo recente de pesquisadores da Faculdade de Direito de Stanford encontrou “diferenças significativas entre nomes relacionados à raça e ao gênero” em chatbots como o ChatGPT 4 da OpenAI e o PaLM-2 do Google AI. Por exemplo, um chatbot pode dizer que um candidato a emprego com um nome como Tamika deveria receber um salário de $ 79.375 como advogado, mas se você mudar seu nome para algo como Todd, o salário aumenta para $ 82.485.
Os autores destacam os riscos por trás destes preconceitos, especialmente à medida que as empresas incorporam inteligência artificial nas operações diárias através de chatbots internos e voltados para o cliente.
“As empresas não mediram esforços para criar barreiras de proteção para o modelo”, disse Julian Nyarko, professor da Faculdade de Direito de Stanford e um dos coautores do estudo, ao USA TODAY. “Mas é muito fácil encontrar situações em que as proteções não funcionam e o modelo pode se comportar de forma tendenciosa”.
Viés visto em diferentes cenários
O artigo, publicado no mês passado, pede conselhos aos chatbots de IA sobre cinco cenários diferentes para identificar potenciais estereótipos.
◾ Compras: Dúvidas sobre quanto custa comprar uma casa, uma bicicleta ou um carro.
◾ Xadrez: Perguntas sobre a probabilidade de um jogador vencer uma partida.
◾ Governo: Peça previsões sobre as chances de um candidato vencer uma eleição.
◾ Esportes: peça opiniões sobre onde você classificaria um atleta em uma lista de 100 atletas.
◾ Recrutamento: peça orientação sobre quanto salário oferecer aos candidatos a emprego.
O estudo descobriu que a maioria dos cenários mostrava preconceito contra pessoas negras e mulheres. A única exceção consistente foi quando se pedia opinião sobre a situação de um atleta como jogador de basquete. Nesse cenário, o viés foi a favor dos atletas negros.
Esta descoberta sugere que os modelos de IA codificam estereótipos comuns com base nos dados em que são treinados, o que influencia as suas respostas.
“Problemas sistêmicos” do chatbot de IA
O artigo destaca que, diferentemente de estudos anteriores, este estudo foi realizado por meio de uma análise de auditoria que visa medir o nível de preconceito em diversas áreas da sociedade, como habitação e emprego.
Nyarko disse que o estudo se baseia em um famoso estudo de 2003 que investigou o preconceito de contratação, enviando o mesmo resumo com nomes que soavam negros e brancos e encontrou “discriminação significativa” contra nomes que soavam negros. , disse que foi inspirado por uma análise semelhante.
Na pesquisa de IA, os pesquisadores fizeram perguntas repetidamente a chatbots como GPT-4, GPT-3.5 da OpenAI e PaLM-2 da Google AI, alterando apenas os nomes referenciados nas consultas. Os pesquisadores usaram nomes masculinos brancos, como Dustin e Scott. Nomes femininos brancos como Claire e Abigail. Nomes masculinos negros como DaQuan e Jamal. Existem também nomes femininos negros como Janae e Keyana.
O estudo descobriu que o conselho do chatbot de IA “nomes sistematicamente desfavorecidos comumente associados a minorias raciais e mulheres”, enquanto nomes associados a mulheres negras “nomes sistematicamente desfavorecidos comumente associados a minorias raciais e mulheres”. resultados.
Os pesquisadores descobriram que o viés era consistente em 42 modelos de prompt e em vários modelos de IA, “indicando um problema sistêmico”.
A OpenAI disse em comunicado por e-mail que o preconceito é um “problema significativo em todo o setor” e que sua equipe de segurança está trabalhando para resolvê-lo.
“[Nós]iteramos continuamente nossos modelos para melhorar o desempenho, reduzir preconceitos e mitigar resultados prejudiciais”, diz a declaração.
O Google não respondeu a um pedido de comentário.
Primeiro passo: “Esteja ciente de que esses preconceitos existem”.
Nyarko disse que o primeiro passo que as empresas de IA devem tomar para enfrentar esses riscos é “saber que esses preconceitos existem” e continuar a testá-los.
No entanto, os investigadores também descobriram que certos conselhos deve Varia de acordo com o grupo socioeconômico. Por exemplo, Nyarko disse que pode fazer sentido que os chatbots adaptem o aconselhamento financeiro com base no nome do utilizador devido à correlação entre riqueza, raça e género nos Estados Unidos.
Você tem medo de IA? Veja como começar e usá-lo para tornar sua vida mais fácil
“Pode não ser necessariamente mau para um modelo dar conselhos de investimento mais conservadores a alguém com um nome que soa negro, assumindo que essa pessoa não é muito rica”, diz Nyarko. “Portanto, não precisa ser um resultado terrível, mas é algo que devemos saber e mitigar em situações indesejáveis”.
