期刊名称：Revista Brasileira de Informática na Educação
印刷版ISSN：1414-5685
出版年度：2020
卷号：28
页码：776-795
DOI：10.5753/rbie.2020.28.0.776
出版社：Revista Brasileira de Informática na Educação
摘要：É crescente o número de plataformas online que disponibilizam exercícios de programação, onde os estudantes submetem a resolução destes exercícios e recebem um feedback automático do sistema, sem intervenção humana. Esses ambientes permitem o registro de muitos aspectos das submissões e, dessa forma, os modelos de avaliação educacional podem ser utilizados para inferir as habilidades trabalhadas em cada solução. Neste trabalho apresentamos uma análise comparativa de três modelos que estimam a habilidade dos estudantes: Elo, Teoria de Resposta ao Item (TRI) e M-ERS (Multidimensional Extension of the ERS). O Elo foi desenvolvido para classificar jogadores de xadrez, através do histórico de jogo, mas foi adaptado para estimar a habilidade dos estudantes através do histórico de submissões dos problemas. A TRI estima a habilidade através de um conjunto de respostas dadas a um conjunto de itens, existem alguns modelos de TRI que variam de acordo com o tipo de resposta. M-ERS é uma adaptação do Elo e TRI que combina os dois modelos e rastreia as múltiplas habilidades dos estudantes. Os modelos Elo, TRI de 2 parâmetros, TRI de resposta gradual e o M-ERS foram aplicados em uma base de dados disponibilizada por uma plataforma Online Judge. Os resultados obtidos apontam diferenças entre os modelos em relação às habilidades estimadas, diferenças que acredita-se estar relacionadas à forma com que cada modelo estima os parâmetros.
其他摘要：The number of online platforms offering programming exercises is increasing, where students submit exercise resolutions and receive automatic feedback from the system, without human intervention. These environments allow the recording of many aspects of the submissions and, thus, the educational evaluation models can be used to infer the skills worked in each solution. In this paper we present a comparative analysis of three models that estimate student's skill: Elo, Item Response Theory (IRT) and M-ERS (Multidimensional Extension of the ERS). Elo was developed to classify chess players, through their game history, but it was adapted to estimate the student's skill through the history of problem submissions. The IRT estimates the skill through a set of answers given to a set of items, there are some IRT models that vary according to the type of response. M-ERS is an adaptation of Elo and IRT that combines the two models and tracks the multiple skills of students. The Elo models, 2-parameter IRT, gradual response IRT and M-ERS were applied to a database provided by an Online Judge platform. The results obtained point out differences between the models regarding the estimated skills, differences that are believed to be related to the way in which each model estimates the parameters.
