Análisis comparativo de la teoría clásica de los test y la teoría de respuesta al ítem aplicadas en evaluaciones informatizadas

Abstract

Las instituciones de educación superior, cada vez más están implementando en sus diversos cursos evaluaciones virtuales vía web, con la finalidad de automatizar y medir con mayor precisión los conocimientos que van adquiriendo los estudiantes. La presente investigación, tiene como objetivo realizar un estudio comparativo de la Teoría Clásica del Test y la Teoría de Respuesta al Ítem, que pueden ser aplicados a los test informatizados con la finalidad de evaluar y medir las propiedades psicométricas y estadísticas, enfocando la confiabilidad y validez de los test de evaluación. Como caso de estudio, se usó un test informatizado de 30 preguntas (ítems) que se aplicó virtualmente a 775 estudiantes de una institución de educación superior matriculados en un curso de Estadística básica en el semestre 2016 II. El análisis de la confiabilidad, resultó con un alfa de Cronbach de 0.8325 pudiendo indicar una confiabilidad buena para la prueba informatizada, también fue corroborada con una correlación de Spearman-Brown de 0.815. El análisis con la TCT, el índice de dificultad identificó tres preguntas muy fáciles (V7, V8 y V12) que fueron retiradas, mientras el índice de discriminación no encontró ninguna pregunta con problemas. El supuesto de la unidimensionalidad de la prueba usando el análisis factorial fue probado con una variancia explicada del primer factor de 24.7%. El modelo logístico binario de la TRI que mejor se ajustó a los datos de la prueba fue el de tres parámetros (3PL). El proceso de calibración con el modelo 3PL, permitió retirar las preguntas V28 (índice de discriminación mayor 0.65) y V8, V12, V16 y V18 (índice del azar mayores a 0.4). Mientras que todas la preguntas estuvieron dentro del rango permitido para índice de dificultad

Higher education institutions are increasingly implementing virtual evaluations via web in their various courses, in order to automate and measure more accurately the knowledge acquired by students. The objective of this research is to carry out a comparative study of the Classic Theory of the Test and the Theory of Response to the Item, which can be applied to the computerized tests with the purpose of evaluating and measuring the psychometric and statistical properties, focusing the reliability and validity of the evaluation tests. As a case study, we used a computerized test of 30 questions (items) that was applied to 775 students from a higher education institution enrolled in a Basic Statistics course in the 2016 II semester. The analysis of the reliability, resulted with a Cronbach's alpha of 0.8325 could indicate a good reliability for the computerized test, it was also corroborated with a Spearman-Brown correlation of 0.815. The analysis with the TCT, the difficulty index, identified three very easy questions (V7, V8 and V12) that were removed, while the discrimination index did not find any questions with problems. The assumption of the unidimensionality of the test using factor analysis was tested with an explained variance of the first factor of 24.7%. The binary logistic model of the TRI that best fit the data of the test was that of three parameters (3PL). The calibration process with the 3PL model allowed the withdrawal of questions V28 (discrimination index higher 0.65) and V8, V12, V16 and V18 (index of chance greater than 0.4). While all the questions were within the allowed range for difficulty index