3.2 Variables
3.2.1 Prueba de conocimiento cívico y ciudadano
La prueba de conocimiento cívico de la ICCS tiene como objetivo evaluar los conocimientos necesarios para comprender y valorar la vida en sociedad y las formas de organización democrática, la capacidad de razonar acerca de las instituciones, eventos, acciones y procesos que se desarrollan en sus comunidades y la habilidad de desarrollar y justificar opiniones y visiones sobre estos elementos (Schulz and IEA 2010). Los ítems de prueba requerían que los estudiantes aplicaran los procesos cognitivos al contenido cívico y de ciudadanía como se describe en el marco de evaluación del reporte técnico (Schulz et al. 2016). Más específicamente, la prueba de conocimiento Cívico y ciudadano mide:
- Dominios de contenido
- Sociedad y sistemas cívicos
- principios cívicos
- Participación cívica
- Identidades cívicas
- Dominios cognitivos
- conocimiento memorización
- Razonamiento y aplicación
Se utilizaron dos formatos de ítems: 79 de 88 ítems de la prueba son de opción múltiple con cuatro opciones de respuesta, como se puede ver en los ejemplos de los Anexos; los nueve ítems restantes fueron de respuesta construida para los cuales los estudiantes debían escribir entre una y tres oraciones. Para calcular los puntajes de cada estudiante, se parte de una media de 500 puntos, considerando una desviación estándar de 100 puntos, y según esta métrica se calculan 5 posibles resultados para cada estudiante. El que sean 5 resultados refleja el error y la incertidumbre propia de la medición de constructos complejos, al respecto se ha decidido trabajar con la primera estimación de puntaje. Según el reporte técnico (Schulz et al. 2016), se utilizó la teoría de respuesta al ítem. Para escalar los datos de prueba de ICCS 2016, los autores recurrieron al paquete de software de escalado ACER ConQuest, Versión 4. Posteriormente se realizaron diversas pruebas de validez, confiabilidad y equivalencia para comprobar que el conocimiento cívico es un constructo unidimensional, continuo y fiable. Además de las evaluaciones de fiabilidad, invarianza, equivalencia y validez realizadas por los centros de investigación designados por la IEA en el marco de la ICCS, otras agencias han evaluado la calidad de los cuestionarios. Así, por ejemplo, la agencia nacional de educación, evaluar el sesgo de deseabilidad social, concluyendo que la prueba no presenta problemas mayores de deseabilidad, y que estos se concentran en los aspectos de preguntas de actitudes y opiniones (Mineduc, 2019).
A continuación, se presenta una tabla con distintos rangos de puntaje y distintas capacidades que son asociadas a este puntaje. Como puede verse seria optimo que los jóvenes alcancen puntajes de conocimiento cívico superiores a 563 puntos.
Figura 3.1: Rangos ICCS
Cabe destacar, que esta prueba de conocimiento cívico ya ha pasado por tres olas internacionales, a partir de las cuales se ha refinado las características psicométricas de la medición. Esta prueba consta tanto de preguntas de selección múltiple como preguntas abiertas, a continuación, se presenta un ejemplo de pregunta en la cual se miden dominios cognitivos de razonamiento y análisis. Al respecto es importante destacar como esta pregunta requiere tanto de conocimientos políticos, como de habilidades propias del lenguaje como es la interpretación. Al respecto, Schulz et al. (2011), señalan que las preguntas de razonamiento y análisis requieren del uso del lenguaje para interpretar información, relatar, justificar, integrar, generalizar, evaluar, sugerir soluciones o predecir.
Figura 3.2: Pregunta ejemplo ICCS
3.2.2 Prueba de comprensión lectora
La comprensión lectora busca evaluar a los estudiantes en su capacidad de manejo del lenguaje y la comunicación. Específicamente, la prueba de lenguaje evalúa las siguientes actividades.
- Localizar información
- Identificar
- Discriminar
- Extraer
- Interpretar
- Inferir
- Interpretar lenguaje denotativo
- Reconocer relaciones causales
- Reflexionar
- Contrastar con conocimientos previos
- Evaluar críticamente aspecto de contenido y formato
Así, como puede apreciarse, para un buen puntaje en comprensión lectora, no solo se requiere la capacidad de decodificar el significado de las palabras, sino que se requiere un manejo del lenguaje a un nivel de razonamiento. Como ya se comentó, el proceso de elaboración y aplicación de la prueba tiene el objetivo de disminuir al mínimo variables externas al manejo del lenguaje que pudieran afectar la medición. Para evaluar las propiedades psicométricas de esta prueba, los encargados de la prueba Simce realizaron análisis en base a lineamientos internacionales (AERA 2011). En base a los análisis realizados por el equipo técnico (ACE 2018b), podemos decir que la prueba de comprensión lectora es unidimensional (i.e El AFC indica un solo factor), posee independencia local (i.e estudiantes de un mismo rendimiento no presentan dificultades para determinada pregunta por factores externos) y motricidad creciente (i.e es un constructo continuo donde la probabilidad de responder correctamente un ítem aumenta progresivamente en estudiantes de mayor rendimiento).
Figura 3.3: Rangos Simce
3.2.3 Estatus socioeconómico del estudiante y del colegio.
Para trabajar la medicación del estatus socioeconómico del colegio, se trabajará con tres variables, el estatus ocupacional más alto entre los padres, el nivel educativo más alto de los padres y la cantidad de libros en el hogar. Para simplificar los cálculos a realizar, las dos últimas variables serán dicotomizadas de tal modo que representen, tener un padre con educación universitaria y poseer más de 100 libros en el hogar respectivamente. Dicotomizar las variables permitirá disminuir la cantidad de parámetros a estimar y la existencia de categorías con muy pocas respuestas en las escuelas las cuales sestan altamente segregadas socioeconómicamente. Estas variables serán utilizadas para trabajar la mediación.
Para trabajar la moderación del efecto del nivel socioeconómico de los estudiantes se utilizará el Índice nacional de antecedentes socioeconómicos el cual es elaborado por el equipo de la encuesta ICCS. Este índice es elaborado como un puntaje factorial que representa una variable latente relacionada con el mayor nivel ocupacional entre los padres, el mayor nivel educativo entre los padres y la cantidad de libros declarados en el hogar. Para evaluar el contexto socioeconómico del establecimiento educativo, se trabajará con el promedio por colegio del Índice nacional de antecedentes socioeconómicos.
3.2.4 Variables de control
Para medir el interés político los estudiantes se utilizará la pregunta creada por la encuesta internacional ICCS. En este ítem se le pregunta al estudiante ¿Qué tan interesado está en temas políticos y sociales? (Muy interesado/ Bastante interesado / No muy interesado / No me interesa en absoluto). Para simplificar el análisis se ha recodificado esta pregunta de tal modo que las dos primeras alternativas se resumen en “Interesado en la politica” y las últimas dos en “No interesado en la política”. Cabe destacar que, para el análisis de mediación, se utilizó la variable original de 4 categorías centrada al promedio de la escuela.
Además, como variables de control, será incluida la calidad de la discusión en el aula, ya que este es un indicador que ha sido consistentemente señalado como relevante por la evidencia, esta variable de nivel dos corresponde al promedio de los indicadores relacionados con las preguntas de clima en el aula.