As organizações estão cada vez mais aproveitando modelos de aprendizado de máquina para alocar recursos e oportunidades escassos. Por exemplo, esses modelos podem ajudar as empresas a selecionarem candidatos para entrevistas de emprego, ou os hospitais a classificarem pacientes transplantados renais com base na sua probabilidade de sobrevivência.
Ao implantar um modelo, os usuários normalmente se esforçam para reduzir o preconceito e garantir que as previsões sejam justas. Isso geralmente inclui técnicas como ajustar os recursos que o modelo usa para tomar decisões ou ajustar as pontuações que produz.
No entanto, investigadores do Instituto de Tecnologia de Massachusetts e da Universidade Northeastern argumentam que estas técnicas de equidade não são suficientes para abordar as desigualdades estruturais e a incerteza inerente. Num novo artigo, eles mostram como a aleatorização das decisões de um modelo de forma estruturada pode melhorar a justiça em determinadas situações.
Por exemplo, se várias empresas usarem o mesmo modelo de aprendizado de máquina para classificar deterministicamente os candidatos para uma entrevista de emprego sem randomizá-los, é provável que um indivíduo merecedor acabe sendo o pior candidato para cada emprego por causa do que faz. formulário on-line. A introdução da randomização nas decisões do modelo pode impedir que pessoas ou grupos merecedores tenham consistentemente negado um recurso escasso, como uma entrevista de emprego.
Através da sua análise, os investigadores descobriram que a aleatorização é particularmente benéfica quando as decisões do modelo envolvem incerteza ou quando o mesmo grupo recebe consistentemente decisões negativas.
Eles apresentam uma estrutura que pode ser usada para introduzir uma certa quantidade de randomização nas decisões do modelo, alocando recursos por meio de uma loteria ponderada. Este método pode ser adaptado por indivíduos para se adequar às suas próprias circunstâncias, melhorando a justiça sem comprometer a eficiência ou a precisão do modelo.
“Mesmo que pudéssemos fazer previsões justas, deveríamos tomar decisões sobre a alocação social de recursos e oportunidades escassos sem considerar estritamente as pontuações e classificações. À medida que surgem cada vez mais oportunidades, a incerteza inerente a estas pontuações pode ser amplificada, disse Shomik Jain. um estudante de pós-graduação do Instituto de Dados, Sistemas e Sociedade (IDSS) e principal autor do artigo mostra que algum tipo de randomização pode ser necessário para a justiça.
Jayne foi acompanhada no artigo por Kathleen Creel, professora assistente de filosofia e ciência da computação na Northeastern University. e a autora principal Assia Wilson, professora de desenvolvimento de carreira da Lister Brothers na Escola de Engenharia Elétrica e Ciência da Computação e pesquisadora principal do Instituto de Sistemas de Informação e Decisão (LIDS). Esta pesquisa será apresentada em uma conferência internacional sobre aprendizado de máquina.
Consideração de reclamações
O estudo baseia-se num artigo anterior no qual os investigadores investigaram os potenciais danos que podem ocorrer quando se utilizam sistemas determinísticos em grande escala. Eles descobriram que o uso de modelos de aprendizado de máquina para alocar recursos de forma determinística pode amplificar as desigualdades presentes nos dados de treinamento, reforçando preconceitos e desigualdades sistêmicas.
“A randomização é um conceito muito útil em estatística e satisfaz felizmente as demandas de justiça tanto do ponto de vista sistêmico quanto individual”, diz Wilson.
Neste artigo, consideramos a questão de quando a randomização melhora a justiça. Eles construíram a sua análise em torno das ideias do filósofo John Bloom, que escreveu sobre o valor de usar a lotaria para distribuir recursos escassos de uma forma que respeite todas as reivindicações dos indivíduos.
A reivindicação de um recurso escasso, como um transplante de rim, por parte de um indivíduo, pode basear-se no mérito, na elegibilidade ou na necessidade. Por exemplo, Wilson explica que todos têm direito à vida, e um pedido de transplante de rim pode basear-se nesse direito.
“Reconhecendo que as pessoas têm reivindicações diferentes sobre estes recursos escassos, a justiça exige o respeito de todas as reivindicações individuais sobre os recursos. Será justo darmos sempre a quem os tem?'', diz Jain.
Este tipo de alocação determinista pode levar à exclusão sistémica e exacerbar desigualdades padronizadas. Isso ocorre quando o recebimento de uma tarefa aumenta a probabilidade de um indivíduo receber tarefas futuras. Além disso, os modelos de aprendizado de máquina podem cometer erros, e as abordagens determinísticas podem cometer os mesmos erros continuamente.
A randomização pode superar esses problemas, mas não significa que todas as decisões tomadas pelo modelo precisem ser igualmente aleatórias.
randomização estruturada
Os pesquisadores usaram uma loteria ponderada para ajustar o nível de randomização com base na quantidade de incerteza envolvida nas decisões do modelo. Decisões com menos certeza deveriam incorporar mais randomização.
“A alocação de rins geralmente é planejada com base na expectativa de vida, que é altamente incerta. Quando dois pacientes têm apenas cinco anos de diferença de idade, torna-se muito difícil mensurar. Queremos aproveitar esse nível de incerteza e ajustar a randomização, “Wilson diz.
Os pesquisadores usaram técnicas estatísticas de quantificação de incerteza para determinar quanta randomização é necessária em diferentes situações. Eles mostram que a randomização ajustada pode produzir resultados mais justos para os indivíduos sem impactar significativamente a utilidade ou a eficácia do modelo.
“É necessário haver um equilíbrio entre a utilidade global e o respeito pelos direitos dos indivíduos que recebem recursos escassos, mas as compensações são frequentemente relativamente pequenas”, diz Wilson.
No entanto, os investigadores destacam que existem situações, como contextos de justiça criminal, em que decisões aleatórias não melhoram a justiça e podem prejudicar os indivíduos.
Mas pode haver outras áreas onde a aleatorização pode melhorar a justiça, como as admissões em faculdades, e os investigadores planeiam explorar outros casos de utilização em estudos futuros. Eles também exploram como a randomização pode afetar outros fatores, como concorrência e preço, e como a randomização pode ser usada para melhorar a robustez dos modelos de aprendizado de máquina que gostaria de investigar.
“Esperamos que nosso artigo seja um primeiro passo para explicar que pode haver benefícios na randomização. Oferecemos a randomização como uma ferramenta. Até que ponto?” , é claro, como eles decidem é outro tópico de pesquisa.”
