Precisão dos Chatbots em Questões de Saúde
Um estudo recente trouxe à tona preocupações sobre a eficácia dos chatbots de Inteligência Artificial (IA) ao fornecer orientações de saúde. Os pesquisadores observaram que essas ferramentas, amplamente utilizadas por usuários em busca de diagnósticos médicos, não se mostraram mais confiáveis do que uma simples pesquisa no Google, uma fonte já conhecida por oferecer informações imprecisas. Segundo o estudo, esses chatbots frequentemente falham em direcionar usuários para diagnósticos corretos e em sugerir ações adequadas, apresentando riscos significativos ao usuários.
A pesquisa, publicada na Nature Medicine, é uma das primeiras a realizar uma avaliação randomizada sobre a utilidade clínica de chatbots. Os pesquisadores avaliaram se os chatbots estavam prontos para serem usados no atendimento de saúde direta, e concluíram que nenhum dos modelos analisados estava apto para essa finalidade. Desde que os chatbots com IA se tornaram populares há três anos, as dúvidas sobre saúde têm sido uma das principais demandas dos usuários.
Uso de Chatbots em Consultas Médicas
Alinhando com essa crescente popularidade, muitos médicos têm recebido pacientes que consultaram chatbots antes de procurarem orientação profissional. Dados indicam que aproximadamente um em cada seis adultos utiliza essas ferramentas ao menos uma vez por mês. Gigantes do setor de tecnologia, como Amazon e OpenAI, também lançaram produtos destinados a responder perguntas de saúde, gerando expectativas sobre a eficácia desses sistemas.
Contudo, Adam Mahdi, professor do Instituto de Internet de Oxford e autor do estudo, expressou ceticismo sobre a precisão dessas ferramentas em situações reais. Ele destacou que a medicina é uma área complexa, onde os diagnósticos não são tão simples quanto muitos usuários podem imaginar. Para investigar a confiabilidade dos chatbots, Mahdi e sua equipe conduziram um experimento com mais de 1.200 participantes britânicos, que receberam cenários médicos detalhados e foram instruídos a interagir com os chatbots a fim de determinar os próximos passos a serem tomados em diferentes situações.
Resultados do Estudo e Desafios Encontrados
Os resultados foram preocupantes: os participantes acertaram a conduta “correta” — definida por um painel de médicos — em menos de 50% das vezes. Além disso, a identificação de condições clínicas específicas, como cálculos biliares e hemorragias subaracnóideas, foi correta apenas em 34% das interações. Curiosamente, o grupo de controle, que utilizou métodos de pesquisa tradicionais, como o Google, não obteve resultados melhores que os obtidos com os chatbots.
Embora o experimento não represente uma avaliação completa de como os chatbots funcionam em cenários do mundo real, ele destacou falhas significativas na interação. É importante mencionar que, em muitas situações, a responsabilidade do diagnóstico incorreto recaiu sobre os usuários, que frequentemente não forneceram informações suficientes. Um exemplo ilustrativo disso foi um participante que relatou dores de estômago sem fornecer detalhes cruciais, como a intensidade e a localização, levando o chatbot a sugerir um diagnóstico inadequado.
Como Melhorar a Interação com Chatbots
Por outro lado, quando os pesquisadores alimentaram os chatbots com informações detalhadas sobre o quadro clínico, a precisão dos diagnósticos subiu para impressionantes 94%. Essa discrepância aponta para a complexidade da medicina, que exige discernimento sobre quais sintomas e detalhes são relevantes para uma avaliação eficaz. Robert Wachter, chefe do departamento de medicina da Universidade da Califórnia, enfatiza que a habilidade de filtrar informações importantes é uma prática fundamental ensinada nas escolas de medicina.
Andrew Bean, autor principal do estudo, argumenta que a responsabilidade de elaborar perguntas eficazes não deve recair apenas sobre os usuários. Ele sugere que os chatbots deveriam desenvolver a capacidade de fazer perguntas complementares, assim como os médicos fazem durante as consultas. Um porta-voz da OpenAI afirmou que os modelos mais recentes do ChatGPT estão mais adeptos a fazer perguntas adicionais, aumentando, assim, a chance de um diagnóstico correto.
Desafios Persistentes e Conclusões
Mesmo com as melhorias, os pesquisadores notaram que os chatbots ainda enfrentam dificuldades em identificar a urgência de situações médicas. A doutora Danielle Bitterman, que estuda a interação entre pacientes e IA, sugere que isso se deve ao treinamento desses modelos, que baseiam suas respostas em literatura médica, mas carecem da experiência prática que os médicos acumulam ao longo de suas carreiras.
Por fim, o estudo evidencia que os chatbots, embora promissores, ainda estão longe de serem soluções confiáveis para questões médicas. A necessidade de um aprimoramento contínuo e da colaboração entre tecnologia e medicina é evidente, garantindo assim, que as interações futuras sejam mais seguras e precisas.