A IA médica do Google quebra os benchmarks do GPT e supera os médicos

Todos os dias, os médicos tratam um grande número de pacientes com necessidades que vão das mais simples às mais complexas. Fornecer cuidados eficazes requer conhecer os registros de saúde de cada paciente e manter-se atualizado sobre os procedimentos e tratamentos mais recentes. E há ainda a importante relação médico-paciente, construída com base na empatia, confiança e comunicação. A IA precisa ser capaz de fazer todas essas coisas se quiser chegar perto de imitar os médicos do mundo real.

A intersecção entre IA e saúde está em pleno andamento. Nos últimos seis meses, o New Atlas mostrou como os médicos juniores podem identificar precursores do câncer de cólon, como as imagens do olho podem diagnosticar o autismo infantil e se os cirurgiões podem remover todo o tecido canceroso do câncer de mama. ajuda a prever em tempo real se Cirurgia. Mas Med-Gemini é outra coisa.

O modelo Gemini do Google é uma nova geração de modelos multimodais de IA. Isso significa que ele pode processar informações de diversas modalidades, como texto, imagens, vídeo e áudio. Os modelos são proficientes em linguagem e conversação, compreendem as diversas informações nas quais são treinados e realizam a chamada “inferência de contexto longo” – inferências a partir de grandes quantidades de dados, como horas de vídeo ou dezenas de horas de áudio, eu entendo.

Med-Gemini tem todos os benefícios do modelo básico Gemini, mas com alguns ajustes. Os pesquisadores testaram esses ajustes com foco médico e descreveram seus resultados em um artigo. Há muita coisa acontecendo em um artigo de 58 páginas. Selecionamos as partes mais impressionantes.

Para chegar a um diagnóstico e desenvolver um plano de tratamento, o médico usa seu conhecimento médico e informações como os sintomas do paciente, histórico médico, histórico cirúrgico, histórico social, resultados de exames laboratoriais e de outros exames investigacionais e a resposta do paciente. para combinar muitas informações relacionadas. Tratamento prévio. Os tratamentos são “férias móveis”, onde os tratamentos existentes são atualizados ou novos tratamentos são introduzidos. Tudo isso influencia o raciocínio clínico dos médicos.

É por isso que no Med-Gemini o Google incorporou acesso à pesquisa baseada na web que permite um raciocínio clínico mais sofisticado. Como muitos modelos de linguagem em larga escala (LLMs) focados na medicina, o Med-Gemini pode resolver problemas do Exame de Licenciamento Médico dos Estados Unidos (USMLE) projetado para testar o conhecimento e o raciocínio médico em uma variedade de cenários. é uma questão representativa de múltipla escolha.

Saab et al.

No entanto, o Google também desenvolveu dois novos conjuntos de dados para o modelo. O primeiro, MedQA-R (Raciocínio), estende o MedQA com explicações de inferência geradas sinteticamente, chamadas “Cadeia de Pensamentos” (CoT). O segundo, MedQA-RS (Inferência e Recuperação), fornece instruções ao modelo para usar os resultados da pesquisa na web como contexto adicional para melhorar a precisão. Quando uma pergunta médica produz uma resposta incerta, o modelo é solicitado a realizar uma pesquisa na web para obter mais informações para resolver a incerteza.

O Med-Gemini foi testado em 14 benchmarks médicos, estabeleceu um novo desempenho de última geração (SoTA) em 10 benchmarks médicos e superou o desempenho da família de modelos GPT-4 em todos os benchmarks comparáveis. No benchmark MedQA (USMLE), Med-Gemini alcançou 91,1% de precisão usando uma estratégia de pesquisa baseada em incerteza, superando o LLM médico anterior do Google, Med-PaLM 2, em 4,5%.

Cerca de 7 benchmarks multimodais, incluindo: Jornal Médico da Nova Inglaterra (NEJM) Image Challenge (imagens de casos clínicos difíceis onde o diagnóstico é feito a partir de uma lista de 10), o Med-Gemini superou o GPT-4 com uma margem relativa média de 44,5%.

“Os resultados… são promissores, mas são necessárias mais pesquisas significativas”, disseram os pesquisadores. “Por exemplo, não pretendemos usar pesquisas multimodais para limitar os resultados da pesquisa a fontes médicas mais confiáveis ​​ou para realizar análises sobre a precisão e relevância dos resultados da pesquisa e qualidade das citações. Além disso, ainda não sabemos se existem LLMs em pequena escala. também podemos aprender como usar a pesquisa na Web; deixamos essas explorações para trabalhos futuros.”

Os registros eletrônicos de saúde (EHRs) podem ser longos, mas os médicos precisam estar cientes do que há neles. Para complicar a situação, eles normalmente incluem semelhanças textuais (“diabetes” vs. “nefropatia diabética”), erros ortográficos, siglas (“Rx” vs. “prescrição”) e sinônimos (“acidente cerebrovascular” vs. “AVC”). O que poderia ser um desafio para a IA.

Para testar a capacidade do Med-Gemini de compreender e raciocinar sobre informações médicas de longo contexto, os pesquisadores usaram o Intensive Care Medical Information Mart, um grande banco de dados disponível publicamente, e o MIMIC-III, que contém dados anônimos de saúde de pacientes internados em terapia intensiva.

O objetivo do modelo era pesquisar uma grande coleção de notas clínicas no EHR (o “palheiro”) em busca de menções relevantes de condições médicas, sintomas ou procedimentos raros e sutis (a “agulha”).

Duzentos casos foram selecionados, e cada caso consistia em uma coleção de anotações anônimas de EHR de 44 pacientes de UTI com longos históricos médicos. Os seguintes critérios foram exigidos.

• Mais de 100 notas médicas. Cada exemplo varia de 200.000 a 700.000 palavras.
• Em cada exemplo, a condição é mencionada apenas uma vez
• Cada amostra tinha uma condição de interesse

Havia dois passos para colocar uma agulha num palheiro. Primeiro, o Med-Gemini teve que pesquisar em seus extensos registros todas as menções a um problema médico específico. Em segundo lugar, o modelo precisava avaliar e classificar a relevância de cada menção, concluir se o paciente tinha histórico do problema e fornecer uma base clara para a decisão.

Saab et al.

Comparado ao método SoTA, o Med-Gemini apresentou melhor desempenho na tarefa de agulha no palheiro. Foi avaliado como 0,77 em precisão em comparação com o método SoTA (0,85) e superou o método SoTA em recall: 0,76 vs.

“Talvez o aspecto mais notável do Med-Gemini sejam as suas capacidades de processamento de longo contexto, que abrem novas fronteiras de desempenho para sistemas médicos de IA e a possibilidade de novas aplicações não possíveis anteriormente”, disseram os pesquisadores. “Essa tarefa de busca de 'agulha em um palheiro' reflete um desafio do mundo real enfrentado pelos médicos, e o desempenho do Med-Gemini-M 1.5 demonstra como extrair e analisar com eficiência. Essas informações mostram o potencial para reduzir significativamente a carga cognitiva e melhorar o desempenho do médico. desempenho.”

Para uma explicação fácil de entender desses pontos-chave de pesquisa e as últimas novidades sobre a confusão entre Google e Microsoft, assista ao vídeo AI Explicado a partir de 13h38.

Em um teste de usabilidade no mundo real, o Med-Gemini foi questionado por usuários pacientes sobre caroços na pele que coçavam. Depois de solicitar uma imagem, o modelo fez perguntas de acompanhamento apropriadas para diagnosticar com precisão a lesão rara e recomendar o que o usuário deveria fazer a seguir.

Saab et al.

A Med-Gemini também foi solicitada a interpretar radiografias de tórax para os médicos e a criar uma versão simples do relatório em inglês que pudesse ser fornecida aos pacientes enquanto aguardavam o relatório oficial do radiologista.

Saab et al.

“As capacidades de conversação multimodal do Med-Gemini-M 1.5 são promissoras, uma vez que podem ser alcançadas sem ajustes especiais nas interações médicas”, disseram os pesquisadores. “Essas capacidades permitem interações naturais e contínuas entre pessoas, médicos e sistemas de IA.”

No entanto, os pesquisadores reconhecem que são necessárias mais pesquisas.

“Essa capacidade tem um grande potencial para aplicações úteis no mundo real, como assistência a médicos e pacientes, mas é claro que também traz riscos muito significativos”, afirmaram. “Embora destaquemos o potencial para pesquisas futuras nesta área, a funcionalidade das conversas clínicas neste estudo, conforme explorada anteriormente por outros em pesquisas especializadas em IA de diagnóstico conversacional, não foi rigorosamente avaliada.

Para onde vamos daqui? Os investigadores reconhecem que ainda há muito trabalho a fazer, mas as características iniciais do modelo Med-Gemini são certamente promissoras. É importante ressaltar que planejamos incorporar princípios responsáveis ​​de IA, como privacidade e justiça, em todo o processo de desenvolvimento do modelo.

“As considerações de privacidade, em particular, precisam de estar enraizadas nas políticas e regulamentos de cuidados de saúde existentes que regem e protegem as informações dos pacientes”, disseram os investigadores. “A equidade é outra área que requer atenção. Os sistemas de IA nos cuidados de saúde podem refletir ou amplificar involuntariamente preconceitos e desigualdades históricas, levando a um desempenho irracional do modelo e à marginalização.”

Mas, em última análise, Med-Gemini é visto como uma ferramenta para o bem.

“Modelos de linguagem multimodais em larga escala estão inaugurando uma nova era de possibilidades na saúde e na medicina”, disseram os pesquisadores. “As capacidades demonstradas pelo Gemini e pelo Med-Gemini sinalizam avanços significativos na profundidade e amplitude de oportunidades para acelerar a descoberta biomédica e apoiar a prestação e experiência de cuidados de saúde. Ao priorizar ambos os aspectos, as capacidades dos sistemas de IA podem promover com segurança tanto o progresso científico como os cuidados de saúde. Podemos imaginar com responsabilidade um futuro significativo.”

O estudo pode ser acessado através do site de pré-impressão arXiv.