3.1 Datos
3.1.1 ICCS
Para abordar la pregunta de investigación se trabajará con la base de datos de la encuesta internacional de conocimiento cívico (ICCS) en su tercera versión (2016). La ICCS es una encuesta enfocada en el estudio longitudinal del conocimiento cívico y las actitudes democráticas en estudiantes de octavo grado de 24 países. Dieciséis de esos países son de Europa, cinco de América Latina y tres de Asia, representados por 94.000 estudiantes y 37.000 profesores de 3.800 colegios (Schulz et al. 2016). Junto con una estrecha colaboración entre la IEA y los centros de estudios de cada país, los encargados de la elaboración de los datos fueron El Consejo Australiano para la Investigación Educativa (ACER) en Melbourne y el Laboratorio di Pedagogia Sperimentale (LPS) en la Universidad Roma Tre (IEA 2016). La muestra de estudiantes posee un diseño estratificado de dos etapas, eligiendo escuelas al azar en un país y aulas al azar en una escuela, de tal modo que cada país tenga aproximadamente 150 escuelas y entre 3000 y 45000 estudiantes. La muestra de chile, con trabajo de campo en el 2015, incorporo colegios elegidos aleatoriamente, y representativos de distintas dependencias y regiones, tanto de sectores rurales como urbanos. De las escuelas seleccionadas aleatoriamente el 85% acepto participar, y dentro de las escuelas participantes, el 85% de los estudiantes acepto participar. En total, participaron 5.081 estudiantes de 178 establecimientos según señala la agencia de calidad de la educación (ACE 2018a).
3.1.2 SIMCE
Adicionalmente se utilizaron los datos Simce del 2015, prueba censal que fue aplicada a los mismos estudiantes participantes del estudio de la ICCS, lo cual permite agregar estas bases de datos, logrando tener las variables de ambos estudios para cada estudiante de la muestra del ICCS. El Simce evalúa los logros de aprendizaje en las asignaturas de Lenguaje y Comunicación (Comprensión Lectura y Escritura); Matemática; Ciencias Naturales; Historia, Geografía y Ciencias Sociales e Inglés. En esta ocasión, hemos utilizado los datos de la prueba Simce de lenguaje y comunicación, más específicamente, de comprensión lectora. El estudio Simce, al igual que el ICCS, trabaja con el modelo de medición de ITR (Teoria de respuesta al ítem). “En particular [el Simce trabaja con] el modelo IRT de tres parámetros, [el cual] permite estimar la habilidad de un estudiante, basándose en la probabilidad de respuesta correcta según tres características propias de las preguntas: dificultad, discriminación y azar (ACE 2018b). Los procesos de aplicación de los instrumentos (pruebas y cuestionarios10) se llevan a cabo en función de instrucciones, manuales y protocolos de actuación que se basan en los criterios de estandarización internacional (AERA 2011).
Respecto al tipo de preguntas, estas son de opción múltiple, pues este formato permite reportar información de la mayoría de los constructos a evaluar en forma efectiva y eficiente, asegurando validez, confiabilidad y objetividad del instrumento en su totalidad (Rupp and Böhme 2008). En miras de este objetivo de la validez del instrumento, se realizan desde el año anterior a la aplicación pruebas piloto, las cuales son analizadas cualitativa y cuantitativamente para construir los indicadores más adecuados posibles. En suma, el Simce realiza una Logística de preparación que implica un gran gasto de recursos con el objetivo de reducir al máximo el error de medida.