Geral
ChatGPT ainda não é muito bom no diagnóstico de doenças (acerta em apenas 49% das vezes), mostra novo estudo
Segundo pesquisadores, ferramenta ainda não está precisa o suficiente para a identificação de doenças humanas
Uma equipe de pesquisadores médicos da Escola de Medicina e Odontologia Schulich da Western University descobriu que o ChatGPT ainda não está pronto para ser usado em ambientes de diagnóstico para doenças humanas. Pesquisas anteriores e evidências anedóticas mostraram que modelos de linguagem grande (LLM) como o ChatGPT podem fornecer resultados impressionantes em algumas solicitações, como escrever um poema de amor para a namorada, mas também podem retornar respostas incorretas ou bizarras.
Por isso, especialistas sugerem cautela ao usar os resultados produzidos por um desses modelos para tópicos importantes como conselhos de saúde. No novo estudo, pesquisadores do Canadá avaliaram quão bem o ChatGPT diagnosticaria doenças humanas se apresentasse sintomas de pacientes reais, conforme descrito em estudos de casos reais.
Eles escolheram 150 estudos de caso do Medscape, um site online criado e usado por profissionais médicos para fins informativos e educacionais, que foram acompanhados por um diagnóstico preciso e conhecido. Eles treinaram o ChatGPT 3.5 com dados pertinentes, como histórico do paciente, resultados laboratoriais e resultados de exames de consultório, e então solicitaram um diagnóstico e/ou um plano de tratamento.
Depois que a ferramenta retornou uma resposta, a equipe de pesquisa classificou seus resultados com base no quão próximo chegou do diagnóstico correto. Eles também avaliaram o quão bem ele relatou sua justificativa para chegar ao diagnóstico, incluindo a oferta de citações – uma parte importante do diagnóstico médico. Eles então calcularam a média das pontuações recebidas para todos os estudos de caso e os resultados, publicados no site de acesso aberto PLOS ONE, mostraram que o ChatGPT deu um diagnóstico correto apenas 49% das vezes.
Os investigadores observam que, embora o ChatGPT tenha obtido uma pontuação fraca, fez um bom trabalho ao descrever como chegou ao diagnóstico – uma característica que pode ser útil para estudantes de medicina, por exemplo. Eles também observaram que a inteligência artificial era razoavelmente bom em descartar possíveis doenças. No entanto, concluem que essa ferramenta ainda não está pronta para uso em ambientes de diagnóstico.
Mais lidas
-
1PROFISSIONAIS DO MAGISTÉRIO
Primeiro lote dos precatórios do Fundef será pago até o final do mês
-
2POLÊMICA
Direção do PT de Alagoas divide parte dos recursos do fundão entre si; escritório de filho de presidente é beneficiado
-
3POLÍTICA
Você sabe quantos votos são necessários para um prefeito se tornar eleito?
-
4PALMEIRA DOS ÍNDIOS
Revitalização do Lago do Goiti: uma obra de 6 anos e mais de 13 milhões que não resolveu o problema de poluição
-
5JUSTIÇA
TRF5 revoga suspensão de liminar e autoriza retomada de debate judicial sobre obra de parque aquático em Palmeira dos Índios