Por que os RAGs não resolvem o problema da ilusão na IA generativa

Créditos da imagem: Imagens D3 Demon/Getty

As ilusões (basicamente, mentiras que os modelos generativos de IA ensinam) são um enorme problema para as empresas que procuram integrar a tecnologia nas suas operações.

Como os modelos não têm inteligência real e simplesmente preveem palavras, imagens, sons, música e outros dados de acordo com os seus esquemas privados, por vezes podem errar. Grande erro. Em um artigo recente no Wall Street Journal, uma fonte citou um exemplo de IA generativa da Microsoft fabricando participantes de reuniões e sugerindo que a ligação era sobre tópicos que não foram realmente discutidos na ligação.

Como escrevi há pouco, as alucinações podem ser um problema que não pode ser resolvido com as atuais arquiteturas de modelos baseados em transformadores. No entanto, muitos fornecedores de IA generativa sugerem que: pode É mais ou menos obsoleto por uma abordagem técnica chamada geração de aumento de pesquisa (RAG).

Um fornecedor, Squirro, apresenta desta forma:

No centro deste produto está o conceito de Acquisition Augmentation LLM ou Acquisition Augmentation Generation (RAG) integrado à solução. [our generative AI] É o único que promete zero alucinações. Todas as informações geradas são rastreáveis ​​até a fonte, garantindo autenticidade.

Uma sugestão semelhante do SiftHub é:

Usando a tecnologia RAG e modelos de linguagem em grande escala ajustados com treinamento de conhecimento específico do setor, o SiftHub permite que as empresas gerem respostas personalizadas sem alucinações. Isto garante maior transparência e redução de riscos, criando confiança absoluta no uso da IA ​​para todas as suas necessidades.

O RAG foi desenvolvido pelo cientista de dados Patrick Lewis, pesquisador da Meta e da University College London e principal autor do artigo de 2020 que cunhou o termo. Quando você aplica o RAG ao seu modelo, ele basicamente usa uma pesquisa por palavra-chave para recuperar documentos que podem ser relevantes para sua pergunta (como uma página da Wikipedia sobre o Super Bowl) e gera uma resposta considerando esse contexto adicional que solicita ao modelo que o faça. .

“Quando você trabalha com um modelo generativo de IA, como ChatGPT ou Llama, e faz uma pergunta, por padrão, o modelo responde a partir de sua “memória paramétrica” ou do conhecimento armazenado em seus parâmetros. É treinar com grandes quantidades de dados da web”, explicou David Wadden, cientista pesquisador da AI2, o braço de pesquisa focado em IA do Instituto Allen, sem fins lucrativos. “Mas assim como ter referências pode lhe dar uma resposta mais precisa; [like a book or a file] O mesmo se aplica ao modelo à sua frente e em alguns casos. ”

RAG é definitivamente útil. Isso permite atribuir o que seu modelo produziu ao documento recuperado e verificar esse fato (e, como benefício adicional, evita possíveis reversões de violação de direitos autorais). Os RAGs também permitem que as empresas que não desejam usar seus próprios documentos para treinar modelos (por exemplo, empresas em setores altamente regulamentados, como saúde ou direito) os utilizem de maneira mais segura e temporária.

Mas RAG é certamente Não pode Impeça a modelo de ter alucinações. E também existem limitações que muitos fornecedores ignoram.

Wadden disse que o RAG é mais eficaz em cenários de “conhecimento intensivo”, onde os usuários desejam usar o modelo para atender a uma “necessidade de informação”, como descobrir quem ganhou o Super Bowl do ano passado. Nesse cenário, o documento que responde à pergunta provavelmente conterá muitas das mesmas palavras-chave da pergunta (por exemplo, “Super Bowl”, “ano passado”) e pode ser encontrado com relativa facilidade com uma pesquisa por palavra-chave.

As coisas ficam ainda mais complicadas para tarefas “pesadas de raciocínio”, como codificação e matemática. Com consultas de pesquisa baseadas em palavras-chave, é difícil especificar os conceitos necessários para responder à solicitação e muito menos identificar quais documentos são relevantes.

Mesmo para questões básicas, o modelo pode ser “distraído” por conteúdos estranhos ao documento, especialmente para documentos longos onde as respostas não são óbvias. Alternativamente, por razões ainda pouco claras, poderíamos simplesmente ignorar o conteúdo do documento recuperado e confiar na memória paramétrica.

Os RAGs também são caros em termos do hardware necessário para aplicá-los em grande escala.

Isso ocorre porque os documentos recuperados da web, de bancos de dados internos e de outros locais devem ser armazenados na memória, pelo menos temporariamente, para que o modelo possa referenciá-los. Outra despesa é calculada porque o modelo tem mais contexto para processar antes de gerar uma resposta. Isto representa uma consideração significativa para uma tecnologia que já é conhecida pelas suas exigências computacionais e de consumo intensivo de energia, mesmo para operações básicas.

Isto não quer dizer que o RAG não possa ser melhorado. Wadden mencionou uma série de esforços contínuos para treinar modelos para melhor utilizar os documentos capturados pelo RAG.

Esses esforços incluem modelos que permitem “decidir” quando usar um documento ou optar por não realizar uma pesquisa se você decidir que não é necessário. Outros estão focados em como indexar grandes conjuntos de dados de documentos de forma mais eficiente, ou em melhorar a pesquisa através de uma melhor representação de documentos, representações que vão além de palavras-chave.

“Somos bons em recuperar documentos com base em palavras-chave, mas não somos tão bons em recuperar documentos com base em conceitos mais abstratos, como as técnicas de prova necessárias para resolver problemas matemáticos.” “É necessária pesquisa para construir técnicas de representação e recuperação de documentos que possam identificar documentos relevantes para tarefas generativas mais abstratas. Acho que esta é uma questão em grande parte em aberto neste momento. ”

Portanto, embora o RAG possa ajudar a reduzir as alucinações num modelo, não é a resposta para todos os problemas de alucinações na IA. Desconfie de fornecedores que tentam afirmar o contrário.