Imagens Getty
Até agora, até mesmo as empresas de IA têm lutado para desenvolver ferramentas que possam detectar de forma confiável quando uma frase é produzida usando modelos de linguagem em grande escala. Agora, um grupo de pesquisadores determinou quais “palavras em excesso” começaram a aparecer com mais frequência durante a era LLM (ou seja, 2023 e 2024) para avaliar o uso do LLM em grandes publicações científicas. Estabelecemos um novo método de estimativa. Segundo os pesquisadores, seus resultados “sugerem que pelo menos 10% dos resumos em 2024 foram processados pelo LLM”. Num artigo pré-impresso publicado no início deste mês, quatro investigadores da Universidade de Tübingen e da Universidade Northwestern, na Alemanha, mediram o impacto da pandemia da COVID-19 observando o excesso de mortes em comparação com os tempos recentes. Em um estudo semelhante sobre o “uso de palavras excessivas” depois que as ferramentas de escrita do LLM se tornaram amplamente disponíveis no final de 2022, os pesquisadores descobriram que “com o advento do LLM, a frequência de certos estilos de palavras aumentará drasticamente”. ” Qualidade e quantidade. ”
cavar fundo
Para medir essas mudanças lexicais, os pesquisadores analisaram 14 milhões de resumos de artigos publicados no PubMed entre 2010 e 2024, rastreando a frequência relativa com que cada palavra aparecia a cada ano. Em seguida, comparamos a frequência esperada dessas palavras (com base nas linhas de tendência anteriores a 2023) com sua frequência real em resumos de 2023 e 2024, quando o LLM era amplamente utilizado.
Eles descobriram que palavras que eram muito incomuns nesses resumos científicos antes de 2023 tornaram-se subitamente populares após a introdução do LLM. Por exemplo, a palavra “investiga” aparece em 25 vezes mais artigos em 2024 do que as tendências pré-LLM poderiam prever. Palavras como “vitrine” e “sublinhado” também tiveram um aumento de nove vezes no uso. Outras palavras anteriormente comuns também se tornaram significativamente mais comuns em resumos pós-LLM. A frequência de “provável” aumentou 4,1 pontos percentuais. Os “resultados dos inquéritos” diminuíram 2,7 pontos percentuais. Por exemplo, “Importante” diminuiu 2,6 pontos percentuais.
É claro que tais mudanças no uso das palavras podem ocorrer independentemente do uso do LLM. Devido à evolução natural da linguagem, as palavras podem entrar e sair de moda. No entanto, os investigadores descobriram que, na era pré-LLM, tais aumentos grandes e repentinos de ano para ano só foram observados em palavras relacionadas com grandes eventos de saúde globais. Em 2017, houve febre Zika. e palavras como “coronavírus”, “bloqueio” e “pandemia” para o período 2020-2022.
No entanto, na era pós-LLM, os pesquisadores descobriram centenas de palavras que aumentaram repentina e acentuadamente em uso científico, sem qualquer associação comum com eventos mundiais. Na verdade, embora as palavras que foram usadas em excesso durante a pandemia do coronavírus fossem predominantemente substantivos, os pesquisadores descobriram que as palavras que aumentaram em frequência após o LLM foram predominantemente verbos, adjetivos, advérbios e outras palavras de “estilo” (uma pequena amostra). : atravessando, além disso, abrangente, importante, aprimorando, exibindo, insight, particularmente, especialmente 'dentro').
Esta não é uma descoberta inteiramente nova. Por exemplo, a crescente frequência do uso de “detalhes” na escrita científica tem recebido recentemente ampla atenção. No entanto, estudos anteriores geralmente se basearam em comparações com amostras de escrita humana “verdadeiras” ou listas predefinidas de marcadores LLM obtidos fora do estudo. Aqui, o conjunto de resumos anteriores a 2023 serve como um grupo de controle único e eficaz para mostrar como as escolhas lexicais mudaram globalmente na era pós-LLM.
interações complexas
Você pode identificar facilmente sinais reveladores do uso do LLM, destacando as centenas das chamadas “palavras marcadoras” que se tornaram tão comuns na era pós-LLM. Vejamos um exemplo dessa linha abstrata que os pesquisadores apontaram. A palavra marcadora é destacada. compreensivo Compreensão de interações complexas enquanto […] e […] dentes extremamente importante para estratégias de tratamento eficazes. ”
Depois de fazer medições estatísticas da ocorrência de palavras marcadoras em artigos individuais, os pesquisadores determinaram que pelo menos 10 por cento dos artigos no corpus PubMed de 2022 em diante foram escritos com pelo menos alguma assistência de LLM. Segundo os pesquisadores, esse número pode ser ainda maior porque o conjunto pode estar faltando resumos assistidos por LLM que não contêm nenhuma das palavras marcadoras identificadas.
Essas porcentagens medidas também podem variar amplamente entre diferentes subconjuntos de artigos. Os pesquisadores descobriram que palavras marcadoras do LLM apareciam 15% das vezes em artigos escritos em países como China, Coreia do Sul e Taiwan, e descobriram que “LLM…ajuda não-nativos a editar textos em inglês” e seu uso generalizado pode ser justificado. .” Por outro lado, os pesquisadores descobriram que os falantes nativos de inglês [just] Ele oculta o uso do LLM desse tipo de análise porque fica melhor em perceber e remover proativamente palavras com estilos não naturais da produção do LLM.
Os pesquisadores argumentam que o uso de LLMs porque “os LLMs são notórios por fabricar referências, fornecer resumos imprecisos e fazer afirmações falsas que parecem confiáveis e persuasivas. Mas à medida que o conhecimento das palavras marcadoras que fornecem evidências do LLM começa a se expandir, os editores humanos tornam-se melhores na extração dessas palavras do texto gerado antes que ele seja compartilhado com o mundo.
Talvez futuros modelos de linguagem em grande escala pudessem realizar eles próprios esse tipo de análise de frequência, diminuindo o peso das palavras marcadoras e mascarando a saída como mais humana. Em breve, poderemos precisar chamar alguns Blade Runners para encontrar o texto generativo de IA escondido entre nós.
