Os Riscos dos Chatbots na Saúde
Um estudo recente trouxe à luz a ineficácia de chatbots de inteligência artificial na orientação de saúde. A pesquisa indicou que esses assistentes virtuais não superam o Google, que, por sua vez, já é conhecido por apresentar informações imprecisas. A tecnologia muitas vezes fornece conselhos errôneos ou varia suas respostas com base em pequenas mudanças nas perguntas feitas pelos usuários. Os pesquisadores concluíram que, atualmente, nenhum modelo de chatbot está preparado para ser utilizado diretamente no atendimento a pacientes.
Nos últimos três anos, os chatbots de IA se tornaram populares, especialmente em questões de saúde. De acordo com dados, cerca de 16% dos adultos consultam esses assistentes virtuais mensalmente para obter informações. Empresas renomadas, como Amazon e OpenAI, desenvolveram produtos especificamente projetados para responder perguntas sobre saúde, gerando expectativas positivas, principalmente após esses modelos terem demonstrado eficiência em diagnósticos complexos durante exames de licenciamento médico.
A Complexidade da Medicina
No entanto, Adam Mahdi, professor do Instituto de Internet de Oxford e coautor do estudo publicado na Nature Medicine, expressou preocupações sobre a capacidade desses chatbots em lidar com a complexidade real da medicina. Afirmou que a medicina vai muito além de questões simples e diretas, sendo muitas vezes incompleta e imprevisível. Para investigar essa questão, Mahdi e sua equipe conduziram um experimento com mais de 1.200 participantes britânicos, a maioria sem formação médica. Os participantes foram apresentados a cenários médicos fictícios, incluindo sintomas e histórico de saúde, e foram orientados a consultar chatbots para determinar os próximos passos a serem seguidos.
Os resultados mostraram que os participantes identificaram a conduta considerada correta, estabelecida por um painel de médicos, em menos da metade dos casos. Além disso, apenas 34% dos participantes conseguiram diagnosticar corretamente condições específicas, como cálculos biliares. Comparativamente, o grupo de controle que usou métodos de pesquisa tradicionais, como o Google, não apresentou resultados superiores.
Desafios na Interação com Chatbots
Embora o estudo não reflita perfeitamente a interação real com chatbots, já que os participantes exploraram cenários fictícios, ele não deixa de destacar os desafios presentes. Ethan Goh, que lidera a Rede de Pesquisa e Avaliação Científica em Inteligência Artificial da Universidade de Stanford, observou que os usuários do estudo podem ter abordado as interações de forma diferente em situações reais.
Um porta-voz da OpenAI, destacou que as versões mais recentes do ChatGPT demonstram melhor desempenho em responder perguntas sobre saúde, em comparação com o modelo testado no estudo, que já foi descontinuado. Dados internos sugerem que as versões atuais cometem menos erros, particularmente em situações de urgência. A Meta, por sua vez, não se pronunciou sobre os resultados da pesquisa.
Os Erros dos Usuários e o Papel dos Chatbots
Uma análise detalhada dos erros cometidos durante as interações com chatbots revelou que cerca de 50% dos problemas foram atribuídos a informações insuficientes fornecidas pelos usuários. Em um cenário, um chatbot sugeriu que dores intensas no estômago poderiam ser resultado de indigestão, sem ter acesso a detalhes cruciais, como a intensidade e a localização da dor, que poderiam ter levado a um diagnóstico correto de cálculos biliares. Quando os pesquisadores forneceram informações completas, os chatbots conseguiram diagnosticar corretamente o problema em 94% das interações.
Robert Wachter, chefe do departamento de medicina da Universidade da Califórnia, ressaltou que parte fundamental da formação médica envolve a habilidade de identificar quais informações são relevantes para um diagnóstico. Andrew Bean, estudante de pós-graduação em Oxford e principal autor do estudo, defendeu que os chatbots também devem fazer perguntas complementares, assim como médicos costumam fazer para coletar informações necessárias dos pacientes.
O Futuro dos Chatbots na Saúde
Os desenvolvedores estão cientes dessa necessidade e trabalham para aprimorar a interação dos chatbots. Dados indicam que modelos mais recentes do ChatGPT são seis vezes mais propensos a realizar perguntas adicionais em comparação com versões anteriores. No entanto, mesmo quando os pesquisadores forneceram um cenário clínico completo, os chatbots ainda enfrentaram dificuldades em discernir quando um conjunto de sintomas exigia atenção médica imediata.
Danielle Bitterman, uma pesquisadora que analisa as interações entre pacientes e IA, sugeriu que isso pode ocorrer porque esses modelos foram treinados com base em literatura médica e relatos de casos, enquanto falta a eles a experiência prática que os médicos adquirem ao longo de suas carreiras. Além disso, alguns chatbots retornaram informações totalmente fabricadas, como sugerir um número de emergência inexistente. A pesquisa também indicou que variações sutis na forma como os usuários descreveram seus sintomas resultaram em respostas contraditórias dos chatbots, ressaltando a necessidade de uma abordagem mais refinada na interação entre humanos e assistentes virtuais.