Os fundadores da Calmara afirmam que a plataforma permite que as mulheres examinem proativamente a saúde sexual de seus parceiros.
getty
As varreduras genitais “alimentadas por IA” podem ser a próxima grande novidade na inteligência artificial.
Isso é de acordo com os fundadores da HeHealth, Mei Ling Lu e Yudara Kularathne, cuja IA “patenteada” “Wizardry” analisa imagens da genitália masculina para detectar doenças sexualmente transmissíveis comuns e afirma ser capaz de confirmar se elas existem ou não. Este mês, a empresa lançou uma plataforma chamada Calmara, que promove como uma ferramenta de saúde sexual para mulheres e incentiva o envio de “peen checks”, ou fotos das partes íntimas de um parceiro.
Calmara afirma que seu algoritmo pode identificar a presença de mais de 10 doenças e infecções, incluindo herpes, sífilis e HPV, em 60 segundos, com até 96% de precisão. “Nossa verdadeira intenção era fornecer uma solução de triagem em saúde sexual, por exemplo, a outra opção é as pessoas pesquisarem no Google”, disse o cofundador e CEO da empresa, Mei Ling Lu. Forbes.
No entanto, desde o seu lançamento, o Calmara tem enfrentado uma série de críticas sobre o consentimento, preocupações com a privacidade de dados e a possibilidade de material de abuso sexual infantil poder chegar aos servidores do Calmara, levantando questões sobre a sua credibilidade e desencorajando os seus criadores. de volta parte do conteúdo. produtos.
“Não creio que tirar uma foto dos órgãos genitais de outra pessoa e compartilhá-la em um aplicativo que não seja um provedor de serviços de saúde e que não siga os mesmos padrões de um consultório médico seja a resposta”, disse Sarah Geoghegan, médica. diz. é advogado do Centro de Informações sobre Privacidade Eletrônica, com foco em questões relacionadas à privacidade do consumidor.
O tamanho do mercado de IA na saúde é de US$ 23 bilhões, com muitas empresas competindo para implementar modelos de diagnóstico, admissão de pacientes, gestão hospitalar e uma variedade de outros usos. Calmara faz parte de um número crescente de produtos de consumo alimentados por IA, incluindo chatbots de terapia e aplicativos de treinadores de saúde. Esses produtos invocam a IA como uma solução simples, mas potencialmente problemática, para uma variedade de problemas de saúde. Por exemplo, a Associação Nacional de Distúrbios Alimentares removeu no ano passado o seu próprio chatbot por oferecer conselhos prejudiciais, tais como recomendações de perda de peso e medições de gordura corporal.
“A natureza do consentimento aqui é impossível.”
Em 2022, o Sr. Lu, um ex-consultor de gestão, e o Sr. Yudala, um médico que atua em Cingapura, fundaram uma startup de saúde com sede em São Francisco que oferece a plataforma Karmala como um serviço e produtos semelhantes para homens. . Verifique se há doenças sexualmente transmissíveis. A HeHealth levantou US$ 1,1 milhão em financiamento de investidores externos, disseram seus fundadores. Os dados do PitchBook listam o Instituto de Inovação e Empreendedorismo da Singapore Management University, o Plug and Play Tech Center da Califórnia e a empresa japonesa de capital de risco ARKRAY 4U como investidores.
Os aplicativos para homens da Calmara e da HeHealth são desenvolvidos com base no mesmo modelo de IA, disseram os fundadores. ForbesE o HeHealth também afirma conectar usuários nos EUA, Cingapura e Índia com especialistas em saúde sexual em “clínicas afiliadas examinadas”. A empresa afirma que sua IA utiliza um “conjunto de dados proprietário” revisado por pares que foi testado por mais de 30.000 usuários em todo o mundo.
Os dados incluem milhares de imagens originais e compostas de cinco doenças penianas, com imagens originais da Índia, Sri Lanka, Cingapura e Índia, de acordo com uma pré-impressão de março de 2024 publicada sem revisão por pares. Elas foram obtidas de médicos na Austrália e nos Estados Unidos. e o Reino Unido. Os autores são Kularathne, dois consultores pagos da HeHealth e um dos executivos médicos da empresa. Não está claro por que Calmara afirma ter identificado a presença de mais de 10 doenças quando o modelo de IA que utiliza foi treinado em apenas cinco. Forbes Também não conseguimos encontrar quaisquer provas de que o modelo e a sua eficácia tivessem sido revistos de forma independente.
A utilização de dados sintéticos (neste caso, imagens aumentadas ou geradas artificialmente por modelos de imagens) para treinar IA tem o potencial de preencher lacunas em conjuntos de dados e até bloquear o acesso a determinados dados. Tem sido proposta por alguns investigadores como uma solução para contornar certas restrições de privacidade. No ano passado, investigadores do Instituto de Tecnologia de Massachusetts mostraram que modelos de conversão de texto em imagem, como a difusão estável, podem ser usados para gerar imagens sintéticas, mas a dependência de tais bibliotecas pode amplificar o preconceito. Claratone disse que as imagens foram alteradas para incluir uma gama mais ampla de tons de pele.
Além disso, a equipe do HeHealth observa em seu artigo que desenvolveu uma “ferramenta de web scraping personalizada para baixar imagens que estão disponíveis gratuitamente na Internet” e que também desenvolveu “uma interface de aplicativo móvel usada principalmente no norte. revelou que desenvolveu “imagens obtidas publicamente”. América. “, disse Klaratone. Forbes Afirmou que as imagens do aplicativo móvel foram usadas em um teste que exigia que os participantes consentissem com o uso de suas informações.
Mas o aplicativo não parece se importar muito com o consentimento. Forbes O Calmara foi testado usando uma imagem indefinida, mas tudo o que foi necessário foi um pop-up que apareceu após a foto ser tirada e antes de ser enviada, afirmando: “Sim, tenho consentimento”.
Mesmo que plataformas como Calmara removam imagens compartilhadas pelos usuários, elas ainda coletam esse material e podem estar sujeitas a certas leis de privacidade de dados.
“A natureza do consentimento aqui é impossível”, disse Geoghegan. No caso de Karmala, “o público-alvo do aplicativo não é a pessoa cujas imagens genitais estão sendo compartilhadas, portanto o verdadeiro alvo desta violação não é a pessoa cujo consentimento está sendo solicitado”.
Jeffrey Klausner, ilustre professor da Keck School of Medicine da University of Southern California e consultor médico remunerado da HeHealth, defendeu a empresa em uma entrevista. Quando questionado sobre preocupações com o consentimento, ele disse que “o consentimento é sempre um problema na saúde sexual”, mesmo em ambientes médicos.[Calmara] Deve ser usado com consentimento mútuo. ”
Depois, há a questão do que acontece com as fotos que os usuários enviam. Quando o Calmara foi lançado, as imagens foram armazenadas em servidores AWS por um período de tempo que os fundadores se recusaram a compartilhar. No entanto, em resposta à reacção pública, o Sr. Lu e o Sr. Claratone mudaram a sua política de manutenção do cargo. Atualmente, as imagens são automaticamente excluídas do Calmara assim que um teste de STI é concluído. (O FAQ da empresa ainda diz: “Suas informações estão escondidas em um hub digital, envoltas em camadas de criptografia e tratadas por regras que deixariam orgulhoso até o Dungeon Master mais experiente.”)
Enquanto isso, o HeHealth armazena dados do usuário, incluindo imagens, disseram Lu e Kularathne. A política de privacidade da HeHealth afirma que algumas informações do usuário serão compartilhadas com “provedores de serviços e parceiros que nos ajudam a operar nossos serviços”. Forbes Perguntamos se as imagens da plataforma seriam usadas para melhorar os modelos de IA. Os fundadores negaram que as fotos estivessem sendo compartilhadas, mas os médicos com quem trabalham atualmente analisam todas as imagens enviadas pelos usuários, e esse “feedback” é usado para treinar novamente o modelo. (Ele não revelou quem eram esses médicos nem qual era o seu vínculo empregatício com a empresa. Forbes Na Califórnia, a HeHealth confirmou sua parceria com o CityHealth, um serviço de saúde por assinatura baseado na Bay Area. )
A porta-voz da CityHealth, Kathy Chu, disse que a empresa oferece consultas médicas para pacientes que usam o HeHealth. “A ideia é que seja conveniente tanto para o médico quanto para o paciente, porque o aplicativo fará a varredura da área peniana do paciente e um fornecedor certificado poderá revisar essa varredura antes de decidir se deve diagnosticar o problema”, disse Chu. Forbes.
O aplicativo de Camara não revela muitas dessas informações. Glenn Cohen, professor da Faculdade de Direito de Harvard especializado em ética médica, disse: “Os sites falam sobre o “modo fantasma” e o “modo de navegação anônima”, mas é difícil dizer quanta privacidade eles protegem. Não tenho informações suficientes”, disse ele. Forbess. “Também não sabemos se os dados são inerentemente reidentificáveis, mesmo depois de os identificadores terem sido removidos.”
Mesmo que uma plataforma como Calmara remova imagens compartilhadas por seus usuários, eles ainda coletam esse material e podem estar sujeitos a certas leis de privacidade de dados, diz Reedsmith Partner in Cybersecurity, disse Wendell Bartnick, que assessora empresas de saúde sobre privacidade de dados. Calmara afirma que seus serviços não estão sujeitos à HIPAA (Lei de Portabilidade e Responsabilidade de Seguros de Saúde) porque não podem ser usados para identificar pessoalmente indivíduos.
“Não há como controlar o tipo de dados que as empresas recebem. As fotos provavelmente incluem o rosto de alguém, o que é considerado informação pessoal regulamentada por algumas leis estaduais”, disse Bartnick. Forbes.
Como muitas plataformas que lidam com imagens médicas, Calmara e HeHealth ainda lidam com imagens altamente sensíveis. “Os computadores dos meus funcionários estão cheios de fotos de pênis”, disse Claratone. Forbes. Klaratone disse que nem Karmala nem HeHealth jamais descobriram ou denunciaram qualquer material de abuso sexual infantil.
Após o lançamento do Calmara, o pesquisador de privacidade e chefe de segurança da informação da Castlebridge, Carey Lening, publicou uma revisão detalhada e contundente das práticas de privacidade da empresa, chamando-a de “um desastre absoluto e absoluto”. Em uma postagem de reação no LinkedIn, Lu chamou o feedback que recebeu desde o lançamento do Karmala de “super bilateral”, acrescentando: “Então, para vocês e outros críticos – acreditem, abracem a inovação em saúde. Pode ser a coisa mais legal que já aconteceu com vocês. ,” ele adicionou. A postagem de Lu foi posteriormente editada para remover esta linguagem.
“Quem revisou os algoritmos externamente? Que garantias eles podem fornecer sobre confiabilidade?”
Lu e Kularathne continuaram a atualizar secretamente o produto desde então, incluindo a alteração do período de retenção de dados do Calmara após o lançamento.traseira Forbes Quando solicitado para uma entrevista com Lu, a HeHealth também removeu uma lista de “parcerias acadêmicas de elite em andamento” de seu site, incluindo a Universidade do Sul da Califórnia, a Escola de Saúde Pública TH Chan da Universidade de Harvard e a Universidade da Carolina do Norte em Chapel Hill. Todas as três escolas disseram isso. Forbes Eles não tinham afiliação com HeHealth, Calmara ou Kularathne.
O Sr. Claratone afirma Forbes Como CEO da HeHealth, ele na verdade tem uma parceria com a HeHealth.quando Forbes Questionado sobre o acordo com a universidade, Klaratone disse que não poderia fornecê-lo por questões de confidencialidade. “Infelizmente isso não é possível. [share] Este é o acordo que tenho em mãos. ”
Quando se trata de transparência, alguns especialistas dizem que Calmara e HeHealth ainda têm espaço para melhorias. Cohen, da Harvard Medical School, disse que os pacientes precisarão saber como as imagens enviadas serão processadas, como a IA será treinada e como a precisão da IA variará em diferentes grupos demográficos. . “Quem revisou o algoritmo externamente? Que garantias essa pessoa pode fornecer sobre confiabilidade? Qual é o plano da empresa em caso de erro? Nesse caso, a empresa deveria Quais responsabilidades você tem e você já tentou abdicar delas ?”
Enquanto isso, os fundadores da Karmala parecem estar gostando da atenção. Esta plataforma foi recentemente show desta noiteEu citei o artigo. crise tecnológica. “Animado em ver Karmala e He Health ganhando atenção na sexta-feira”, escreveu Klarathne no LinkedIn.os fundadores disseram Forbes Planejamos lançar uma atualização para nosso produto nos próximos dias, mas ela ainda não está disponível. Lu afirmou que estava “em discussões” com o site de namoro sobre uma possível parceria, mas se recusou a dar mais detalhes. Klaratne disse que permanece firme em seu objetivo de salvar “um bilhão de vidas” com sua tecnologia. “Estou olhando para algumas pessoas que escreveram tantos artigos sobre mim”, disse ele. “Minha técnica será melhor que a deles.”
Mais da Forbes
