DESEMPENHO DO CHATGPT 3.5 PARA RESPONDER QUESTÕES DE MÚLTIPLA-ESCOLHA EM ORTOPEDIA E TRAUMATOLOGIA

Abstract

Introdução: A IA e o ChatGPT oferecem inúmeras possibilidades que envolvem ensino médico, prática clínica e cirúrgica. A adição de agentes com capacidade de análise lógica amplia ainda mais essas possibilidades. No entanto, a IA também é suscetível a falhas e erros. Já o desempenho do GPT-3.5 em responder questões ortopédicas é desconhecido. Objetivo: Analisar o desempenho do GTP-3.5 para responder questões de múltiplas escolhas em Ortopedia e Traumatologia. Método: Foram utilizadas questões de ortopedia múltipla-escolha aplicadas em provas de uma universidade de medicina no sul do Brasil. Após seleção, restaram 66 questões. Essas foram classificadas subjetivamente por conteúdo e objetivamente por tamanho, seja de seu enunciado e seja pelo comprimento das alternativas. Finalmente, foi avaliada a veracidade da alternativa escolhida, classificando-as como corretas ou incorretas. Resultados: Dentro deste estudo observou-se uma média total de assertividade de 43,93% das questões, enquanto que 56,06% foram respondidas incorretamente. O grupo de questões com enunciados longos com alternativas longas, destacou-se positivamente com 54,55% de acertos, e dentre eles as questões sobre conduta obtiveram 62,5% de acertos. Por outro lado, enunciados curtos e alternativas longas apresentaram 68,75% de erros. Conclusão: A união dos modelos chatbot de inteligência artificial como o GPT-3.5 e a prática médica ortopédica/acadêmica aparenta não estar pronta. Por mais que a média percentual de respostas corretas em determinados conjuntos ultrapasse 50%, em geral não se observou tal resultado. Os ortopedistas, residentes e acadêmicos de medicina devem estar cientes da limitação que hoje possui o GPT-3.5.