Se describen el proceso y resultado de una validación psicométrica de un instrumento para estimar el nivel de las competencias de informática en estudiantes universitarios de nuevo ingreso. El nuevo instrumento, que se construyó a partir de un cuestionario existente (para una población anglófona), mide seis competencias a través de 45 ítems en los cuales los estudiantes expresan su grado de familiaridad con tareas concretas de cómputo. Los datos incluyeron las respuestas de dos cohortes de estudiantes de medicina (2 389 participantes, en total): la primera cohorte sirvió para seleccionar los ítems de la versión final del cuestionario; la segunda para una validación cruzada del nuevo instrumento. Se realizaron (a) análisis psicométricos basados en una variante del modelo del factor común y una nueva variante del modelo de crédito parcial generalizado, que da cuenta de dependencias locales entre los ítems y (b) análisis de ecuaciones estructurales para investigar las relaciones entre sí de las seis competencias. Los resultados psicométricos indicaron un buen ajuste a los modelos y mostraron adecuados valores para la fiabilidad y validez. El análisis estructural reveló relaciones de prerrequisito entre las habilidades. Los resultados fomentan el uso del instrumento para la evaluación formativa de los estudiantes.

This article informs on the process and the results of an instrument aimed at measuring the level of computer competencies in first-year university students. The new instrument, which was constructed from an existing questionnaire (originally for an English-speaking population), measures six competencies using 45 items in which students express their familiarity with specific computer tasks. Data included responses from two cohorts of medical students (for a total of 2 389 participants): Based on the results for the first cohort, items were selected for the questionnaire's final version, which subsequently was evaluated in a cross-validation study on the second cohort. The analyses were based on (a) a variant of the common factor model and a novel variant of the generalized partial credit model that accounts for local item dependencies, and (b) structural equation modeling which examines the relations among the six abilities measured by the instrument. The psychometric results showed good fit of the models to the data and adequate reliability and validity indices. The structural analysis revealed prerequisite relations among the abilities. The results lend support to the instrument as a functional tool in the students' formative evaluation process.