Diseño y validación de un modelo de evaluación dinámica basado en la teoría de respuesta al ítem

Design and validation of a dynamic assessment model based on the item response theory

El objetivo de este artículo es describir un modelo de evaluación basado en un proceso iterativo de selección de ítems a partir de una estimación dinámica del conocimiento del estudiante. La idea tras dicho modelo es lograr un equilibrio entre el progreso demostrado por el estudiante y la dificultad de los ítems que son usados durante el proceso de evaluación. De esta manera se logra evitar de cierta manera dos fenómenos comunes: el tedio en los estudiantes ‘avanzados’, y la frustración en los ‘rezagados’. Para el diseño de dicho modelo se siguió el enfoque de la Evaluación Adaptativa Computarizada usando la Teoría de Respuesta al Ítem y en particular el modelo logístico de tres parámetros. Para validar la propuesta se llevó a cabo un estudio con una muestra de 59 estudiantes en un ambiente educativo real, específicamente dentro de un curso universitario de estructuras de datos. Dicho estudio demostró, por medio de pruebas de hipótesis, no solo un incremento significativo en la precisión de la medición respecto al nivel de conocimiento de los examinados, sino también una disminución en el tiempo promedio de evaluación.

The goal of this paper is to describe an assessment model based on an item selection iterative process using a dynamic estimation of the student knowledge. The idea behind such a model is to achieve equilibrium between the progress demonstrated by the student and the items that are used during the assessment process. In this way two common phenomena are avoided: the boredom of 'advanced' students, and the frustration of the 'straggler' ones. For the design of such a model the Computerized Adaptive Testing approach was followed using the Item Response Theory and in particular the logistic model with three parameters. To validate the proposal a study was performed with 59 students in a real educational environment, speci cally within a college course in data structures. Such a study demonstrated, through hypothesis tests, not only a signi cant raise in the measuring accuracy with regard to the knowledge level of the examinees, but also a dropout in the mean assessment time.