IA supera humanos em testes de teoria da mente

A teoria da mente, a capacidade de compreender os estados mentais dos outros, é o que impulsiona o mundo social humano. Ajuda-nos a decidir o que dizer em situações tensas, a adivinhar o que os outros condutores vão fazer e a ter empatia com as personagens dos filmes. E novas pesquisas mostram que os modelos de linguagem em larga escala (LLMs) que alimentam o ChatGPT e outros são surpreendentemente bons em imitar essa característica humana típica.

“Antes de conduzir o estudo, estávamos todos convencidos de que modelos de linguagem em grande escala não passariam nesses testes, especialmente aqueles que avaliam habilidades sutis para avaliar estados mentais”, disse a coautora do estudo, Christina Vecchio, professora de neurociência cognitiva na Universidade de Hamburgo. Centro médico. Eppendorf, Alemanha. Os resultados, que ela chama de “inesperados e surpreendentes”, foram publicados hoje, de forma um tanto irônica, em uma revista. natureza comportamento humano.

Mas nem todos estão convencidos de que o resultado inaugura uma nova era de máquinas que pensam como nós. Dois especialistas que analisaram as descobertas aconselharam aceitá-las “com cautela” e alertaram contra tirar conclusões sobre um assunto que poderia causar “exagero e pânico público”. Outro especialista externo alertou sobre os perigos da antropomorfização de programas de software.

Os pesquisadores têm o cuidado de não dizer que seus resultados mostram que os LLMs realmente possuem uma teoria da mente.

Vecchio e colegas não são os primeiros a reivindicar evidências de que as respostas do LLM exibem este tipo de raciocínio. Em uma pré-impressão publicada no ano passado, o psicólogo da Universidade de Stanford, Michal Kosinski, relatou que testou vários modelos baseados em diversas teorias comuns sobre testar a mente. Ele descobriu que o melhor do grupo, o GPT-4 da OpenAI, resolveu 75% das tarefas corretamente, o que, segundo ele, correspondia ao desempenho observado em crianças de 6 anos em estudos anteriores. No entanto, a metodologia do estudo foi criticada por outros pesquisadores que conduziram experimentos de acompanhamento, dizendo que o LLM muitas vezes obtém a resposta certa com base em “heurísticas superficiais” e atalhos, em vez de uma verdadeira teoria do raciocínio da mente.

Os autores deste estudo estavam bem cientes deste debate. ““Nosso objetivo com este artigo foi enfrentar o desafio de avaliar a teoria mecanicista da mente de uma forma mais sistemática, usando uma ampla gama de testes psicológicos”, disse o coautor do estudo, atualmente na Universidade de Hamburgo, diz psicólogo cognitivo. James Strachan, pesquisador visitante do centro médico. Eppendorf. Ele ressalta que conduzir pesquisas rigorosas também significa testar humanos nas mesmas tarefas atribuídas aos LLMs. O estudo comparou o desempenho de 1.907 humanos com o desempenho de vários LLMs populares, incluindo o modelo GPT-4 da OpenAI e o Llama 2 de código aberto. Modelo -70b da Meta.

Como testar o LLM para Teoria da Mente

Tanto LLMs quanto humanos completaram cinco tipos típicos de tarefas de teoria da mente. Os três primeiros foram dicas, sarcasmo e compreensão do fracasso. Eles também responderam a perguntas sobre “crenças falsas” que são frequentemente usadas para determinar se as crianças estão desenvolvendo a teoria da mente. Algo assim: Se Alice mover alguma coisa enquanto Bob estiver fora da sala, onde Bob procurará aquilo quando retornar? ? Finalmente, você respondeu a uma pergunta bastante complexa sobre “histórias estranhas” em que as pessoas mentem, manipulam e se entendem mal.

No geral, o GPT-4 saiu vitorioso. Suas pontuações correspondiam às pontuações dos humanos no teste de falsas crenças e eram mais altas do que a soma de suas pontuações em sarcasmo, insinuações e histórias bizarras. Acontece que eles testaram incorretamente e foram piores que os humanos. Curiosamente, a pontuação do Llama-2 foi oposta à do GPT-4. Eles se igualavam aos humanos quando se tratava de crenças falsas, mas tinham um desempenho pior que os humanos quando se tratava de sarcasmo, insinuações e histórias bizarras, e melhor quando se tratava de falsidade.

“No momento, existência Sobre a teoria da mente. ” —James Strachan, Centro Médico da Universidade Hamburgo-Eppendorf

Para entender o que estava acontecendo com os resultados errôneos, os pesquisadores realizaram uma série de testes de acompanhamento no modelo para testar diversas hipóteses. Eles concluíram que o GPT-4 é capaz de dar respostas corretas a perguntas sobre falhas, mas é impedido de fazê-lo por sua programação “ultraconservadora” em relação a declarações opinativas. Strachan destacou que a OpenAI instalou uma série de proteções em torno de seus modelos “projetadas para mantê-los no caminho certo de maneira factual e honesta” com o objetivo de prevenir alucinações do GPT-4. Eles argumentam que estratégias como essas (ou seja, inventar coisas) também pode prevenir alucinações. Vem de uma opinião sobre se um personagem da história insultou inadvertidamente um colega de escola em uma reunião de classe.

Enquanto isso, os testes de acompanhamento do Llama-2 realizados pelos pesquisadores mostraram que o desempenho superior do Llama-2 em testes de trapaça era provavelmente um produto de seu formato original de perguntas e respostas, com perguntas como “Será que Alice sabia?” a resposta correta para uma variação da pergunta é que ela insultou Bob? ” Sempre foi “não”.

Os pesquisadores tiveram o cuidado de não dizer que seus resultados mostram que os LLMs realmente têm uma teoria da mente, mas, em vez disso, “demonstram um comportamento que é indistinguível do comportamento humano em suas tarefas de teoria da mente”. Uma questão surge aqui. Se uma imitação é tão boa quanto a coisa real, como sabemos que não é a coisa real? Strachan diz que é uma questão que os cientistas sociais nunca tentaram responder, porque as experiências humanas nunca tentaram respondê-la. que há mais ou menos qualidade. “No momento, existência Teoria da mente, propriedades fenomenológicas”, diz ele.

Críticas à pesquisa

Os pesquisadores procuraram claramente evitar os problemas metodológicos que fizeram com que o artigo de Kosinski de 2023 sobre LLM e teoria da mente fosse criticado. Por exemplo, administramos o teste em várias sessões e alteramos a estrutura das perguntas para que os LLMs não pudessem “aprender” as respostas corretas durante o teste. Mas Yoav Goldberg e Natalie Shapira, dois investigadores de IA que publicaram críticas ao artigo de Kosinski, dizem que também não estão convencidos pelo estudo.

“Por que é importante se um sistema de manipulação de texto pode produzir um resultado para uma tarefa semelhante à resposta que um ser humano daria quando confrontado com a mesma pergunta?” —Emily Bender, Universidade de Washington

Goldberg comentou a ideia de desconsiderar as descobertas, dizendo que “modelos não são pessoas”, acrescentando que comparar os dois “pode facilmente levar a conclusões precipitadas”. Shapira falou sobre os perigos da hipérbole e questionou os métodos do jornal. Ela se pergunta se o modelo simplesmente memorizou a resposta correta depois de ver as questões do teste nos dados de treinamento. Também observa os potenciais problemas com testes que utilizam participantes humanos pagos (neste caso, recrutados através da plataforma Prolific). “É um problema bem conhecido que os funcionários nem sempre executam as tarefas de maneira ideal”, diz ela. Espectro IEEE. Ela acredita que as descobertas são limitadas e um tanto anedóticas, dizendo: [theory of mind] Requer habilidade, mais trabalho e benchmarking mais abrangente. ”

Emily Bender, professora de linguística computacional na Universidade de Washington, tornou-se lendária na área por sua defesa para acabar com o hype que infla a indústria de IA (e muitas vezes a cobertura dela pela mídia). Ela desafia as questões de pesquisa que motivaram os pesquisadores. “Por que é importante que um sistema de manipulação de texto possa produzir um resultado para uma tarefa semelhante à resposta que um ser humano daria quando se deparasse com a mesma pergunta?” “Isso nos diz sobre o funcionamento interno do LLM, para que serve e quais são os perigos?” Não está claro o que significa ter um modelo de mente para o LLM.

Bender também expressou preocupações sobre o antropomorfismo, que ela observou em seu artigo, e os pesquisadores disseram que os LLMs têm habilidades cognitivas, de raciocínio e de escolha. Ela afirma que a linguagem dos autores que “faz uma comparação justa entre as espécies entre o LLM e os participantes humanos” é “completamente inadequada quando se trata de software”. Bender e vários colegas publicaram recentemente um artigo pré-impresso investigando como o antropomorfismo em sistemas de IA afeta a confiança do usuário.

Este resultado pode não indicar que a IA esteja realmente funcionando. aquisição No entanto, vale a pena considerar as implicações de um LLM que imite de forma convincente a teoria do raciocínio da mente. Eles não apenas se tornarão melhores na interação com os usuários humanos e na antecipação de suas necessidades, mas também poderão se tornar melhores em enganá-los e manipulá-los. E encorajará ainda mais o antropomorfismo, fazendo com que os utilizadores humanos acreditem que existe uma mente para além da interface do utilizador.