Sistemas de inteligência artificial como o ChatGPT poderão em breve esgotar o que os torna mais inteligentes: os triliões de palavras que as pessoas escreveram e partilharam online.
Um novo estudo publicado quinta-feira pelo grupo de pesquisa Epoch AI sugere que as empresas de tecnologia ficarão sem dados de treinamento disponíveis publicamente para seus modelos de linguagem de IA por volta da virada da década, ou entre 2026 e 2032. Prevê-se.
Comparando isso a uma “corrida do ouro literal” que esgota os recursos naturais finitos, o autor do artigo de pesquisa Tamei Besiroglu disse que, uma vez esgotadas as reservas de escrita gerada pelo homem, o campo da IA continuará a avançar nas taxas atuais. dificuldade em manter o ritmo.
No curto prazo, empresas tecnológicas como a OpenAI, fabricante do ChatGPT, e a Google estão a competir para proteger e, em alguns casos, pagar por fontes de dados de alta qualidade para treinar os modelos de linguagem de grande escala da IA. Por exemplo, celebrar um contrato que utiliza um fluxo constante de texto. Dos fóruns do Reddit e da mídia de notícias.
A longo prazo, não haverá novos blogs, artigos de notícias e comentários nas redes sociais suficientes para sustentar a atual trajetória de desenvolvimento da IA, deixando as empresas com dados sensíveis, como e-mails e mensagens de texto, que atualmente são considerados privados. use-o. Eles dependem de “dados sintéticos” não confiáveis emitidos pelo próprio chatbot.
“Há um sério gargalo aqui”, disse Besiroglu. “Depois que você começar a enfrentar restrições na quantidade de dados que possui, não será mais possível ampliar seu modelo com eficiência.”
Penhasco de 2 a 8 anos
Os pesquisadores fizeram previsões pela primeira vez em um artigo de pesquisa prevendo um corte mais iminente em 2026 para dados de texto de alta qualidade, dois anos atrás, pouco antes do lançamento do ChatGPT. Muita coisa mudou desde então, incluindo novas técnicas que permitem aos investigadores de IA fazer melhor uso dos dados existentes e, em alguns casos, “overtrain” a mesma fonte várias vezes.
No entanto, existem limites e, após mais pesquisas, a Epoch prevê que os dados de textos públicos se esgotarão nos próximos dois a oito anos.
A pesquisa mais recente da equipe foi revisada por pares e será apresentada em uma conferência internacional sobre aprendizado de máquina em Viena, na Áustria, neste verão. Epoch é uma organização sem fins lucrativos patrocinada pela Rethink Priorities, com sede em São Francisco, e financiada pela Advocates for Effective Altruism, uma filantropia dedicada a mitigar os piores riscos da IA.
Há mais de uma década, disse Besiroglu, os pesquisadores de IA descobriram que era possível melhorar significativamente o desempenho dos sistemas de IA escalando agressivamente dois elementos-chave: poder de computação e vasto armazenamento de dados da Internet.
De acordo com uma pesquisa da Epoch, a quantidade de dados de texto inseridos em modelos de linguagem de IA está aumentando aproximadamente 2,5 vezes anualmente, e a computação está aumentando aproximadamente 4 vezes anualmente. A Meta Platforms, controladora do Facebook, afirmou recentemente que a maior versão de seu próximo modelo Llama 3 (ainda não lançado) foi treinada com até 15 trilhões de tokens, cada um dos quais pode representar parte de uma palavra.
No entanto, é discutível até que ponto vale a pena se preocupar com gargalos de dados.
“Acho importante ter em mente que você não precisa necessariamente treinar modelos cada vez maiores”, diz o Dr. Schmidt, professor assistente de engenharia da computação na Universidade de Toronto e diretor do Vector Institute for Artificial, sem fins lucrativos. Inteligência, diz Nicholas Papernot, pesquisador da.
“Você copia uma cópia”
Paperknot, que não esteve envolvido na pesquisa da Epoch, disse que a construção de sistemas de IA mais proficientes também pode ser alcançada através de modelos de treinamento específicos para tarefas. No entanto, ele está preocupado em treinar sistemas de IA generativos com o mesmo resultado que estão produzindo, levando à degradação do desempenho conhecida como “colapso do modelo”.
O treinamento em dados gerados por IA é “semelhante ao que acontece quando você copia um pedaço de papel e copia aquela cópia. Você perde algumas informações”, disse Paperknot. Não só isso, mas a investigação do Papernot também descobriu que tem o potencial de codificar ainda mais os erros, preconceitos e desigualdades já incorporados no ecossistema de informação.
Embora o texto real de autoria humana continue sendo uma fonte importante de dados de IA, os guardiões das fontes de informação mais populares, como sites como Reddit e Wikipedia, e editores de notícias e livros, são. . usado.
“Provavelmente não seremos isolados do topo de todas as montanhas”, brinca Serena Deckelman, diretora de produtos e tecnologia da Wikimedia Foundation, que administra a Wikipédia. “É uma questão interessante neste momento que estamos a ter esta discussão sobre dados gerados pelo homem sobre recursos naturais. Eu não deveria rir disso, mas acho que é incrível de certa forma.”
Embora alguns tenham tentado bloquear os dados do treinamento em IA, em muitos casos os dados já são obtidos gratuitamente, então a Wikipedia impôs algumas restrições sobre como as empresas de IA podem usar entradas criadas por voluntários. Ainda assim, Deckelman disse que espera que continue a haver um incentivo para que as pessoas continuem a contribuir, especialmente à medida que uma enxurrada de “conteúdo lixo” barato e gerado automaticamente começa a poluir a Internet.
As empresas de IA “deveriam se preocupar com a forma como o conteúdo criado por humanos continua a existir e permanecer acessível”, diz ela.
Do ponto de vista de um desenvolvedor de IA, a pesquisa da Epoch mostra que pagar milhões de humanos para gerar o texto necessário para um modelo de IA não é uma boa ideia para impulsionar melhorias de desempenho técnico. “É improvável que seja um método econômico”, disse ele.
À medida que a OpenAI começa a treinar a próxima geração de modelos de linguagem GPT em grande escala, o CEO Sam Altman disse a uma audiência em um evento das Nações Unidas no mês passado que a empresa já está experimentando “gerar grandes quantidades de dados sintéticos” para treinamento. fazendo isso.
“Acho que precisamos de dados de alta qualidade. Temos dados sintéticos de baixa qualidade. Temos dados humanos de baixa qualidade”, disse Altman. Mas ele também expressou preocupação com a dependência excessiva de dados sintéticos, em vez de outros métodos técnicos, para melhorar os modelos de IA.
“Se a melhor maneira de treinar um modelo fosse gerar, digamos, 1 quatrilhão de tokens de dados sintéticos e realimentá-los, algo muito estranho aconteceria”, diz Altman. “Sinto que não é muito eficiente.”
