EFETIVIDADE DE CHATBOTS NO ENSINO EM CIÊNCIAS CONTÁBEIS: UMA ANÁLISE COMPARATIVA ENTRE LLMs

Resumo

Esta investigação teve como objetivo comparar o desempenho de diferentes chatbots, baseados em grandes modelos de linguagem (LLM), na resolução de questões de natureza contábil, abrangendo questionamentos de natureza binária, de múltipla escolha e questões abertas que exigiam raciocínio procedimental. Para tanto, foram analisadas as respostas fornecidas por sete modelos amplamente utilizados, incluindo o Claude, cujos resultados foram confrontados com aqueles obtidos por outros seis modelos já avaliados em pesquisa anterior. A investigação adotou abordagem qualitativa baseada em análises de caráter quantitativo, considerando tanto a precisão das respostas (acertos) quanto a capacidade dos modelos de interpretar enunciados, realizar cálculos encadeados e indicar corretamente a natureza de saldos contábeis. Os resultados sugerem que, embora o desempenho dos chatbots tenha sido semelhante nas questões binárias e nas questões de múltipla escolha, diferenças significativas emergiram nas questões abertas, nas quais o Claude apresentou melhor desempenho. A análise estatística realizada por meio do Teste Z para diferença entre proporções confirmou que essa superioridade foi significativa apenas nas questões abertas, indicando que o Claude pode se destacar em tarefas que exigem raciocínio contábil estruturado. Conclui-se que, apesar do potencial pedagógico dos chatbots, seu desempenho é heterogêneo e depende do tipo de tarefa, reforçando a necessidade de uso crítico e orientado dessas ferramentas no ensino das ciências contábeis.