ISSN 0798 1015

Vol. 39 (Nº 40) Año 2018. Pág. 6

Impacto de los factores asociados al tercer estudio regional comparativo y explicativo en Panamá

Impact of the factors associated with the third comparative and explanatory regional study in panama

VILLALBA Rey, Deicy 1; LUZARDO Briceño, Marianela 2; FAJARDO Ortíz, Eddy Johanna 3; VILLARRUÉ, Julio Escobar 4; TUÑON Biddy, Carlos 5

Recibido: 05/05/2018 • Aprobado: 18/06/2018

Contenido

1. Introducción

2. Antecedentes

3. Modelos de regresión multinivel o modelos jerárquicos

4. Metodología

5. Resultados

6. Conclusiones

Agradecimientos

Referencias bibliográficas

1. Introducción

Uno de las principales aristas que permiten a un individuo realizarse, y por ende contribuir a hacer un país próspero y sostenible es la educación, la cual debe servir como un gran ecualizador hacia las mejores oportunidades de bienestar particular y general. La mayoría de los países latinoamericanos distan mucho de este ideal. Afortunadamente es posible evaluar los logros del sistema educativo con métodos científicos que permiten realizar recomendaciones confiables sobre cómo mejorarla. Una cultura que valora la información puede aprender de sus propios errores.

Los estudios realizados por la Oficina Regional de Educación de la Unesco, en cada una de sus tres versiones, Perce, Serce y Terce, han brindado a cada uno de los países participantes insumos necesarios para evaluar la educación a nivel de primaria y por ende realizar políticas públicas con la finalidad de mejorar el sistema educativo. (Unesco,2016)

El Tercer Estudio Regional Comparativo y Explicativo, en adelante Terce, es el último estudio que ha realizado la Oficina Regional de Educación de la Unesco en América Latina y el Caribe para medir y evaluar la calidad de la educación en la región. Esta prueba se llevó a cabo en el año 2013 con la participación de 15 países de América Latina y el Caribe (Argentina, Brasil, Chile, Colombia, Costa Rica, Ecuador, Guatemala, Honduras, México, Nicaragua, Panamá, Paraguay, Perú, República Dominicana y Uruguay) más el estado mexicano de Nuevo León.

Las áreas de conocimiento que abordó el Terce fueron, matemáticas, lectura de tercero y sexto grado, y de ciencias naturales para los de sexto grado. Además, incluyó cuestionarios dirigidos a los estudiantes, docentes, directores de escuela y hogares de cada estudiante sobre su entorno y situación con la finalidad de indagar en los factores sociales, económicos, culturales, psicológicos, organizacionales y en las políticas educativas que impactan el desempeño académico de los escolares en la región (Unesco,2016)

Se analiza en este artículo, los factores asociados al rendimiento de los estudiantes de Panamá que participaron en el Terce, 2013 a partir de un modelo jerárquico a dos niveles; donde el primer nivel está representado por aquellas variables asociadas a los estudiantes y el segundo nivel, caracterizado por las variables relacionadas a las escuelas. Evaluaciones como el Tercer Estudio Regional Comparativo y Explicativo (Terce) tienen limitaciones propias del esquema de ítems, o de las preguntas que utilizan, con lo que se hace necesario perfeccionar los métodos de evaluación a disposición de Panamá. Sin embargo, ésta y otras evaluaciones estandarizadas, se convierten en insumos valiosos de política educativa, especialmente cuando se analizan con conocimiento íntimo del contexto local.

En la actualidad, la importancia de la calidad en la educación básica es uno de los derroteros internacionales de mayor relevancia para el desarrollo de la educación y una de las áreas de mayor trabajo durante los últimos quince años. La educación de calidad debe ser un derecho para todos los individuos de una sociedad y debe ser tomada como un modelo de desarrollo a implementar por todas las regiones. Los sistemas educativos tienen como obligación mejorar los procesos en los cuales los estudiantes pueden conseguir otros logros educativos (Unesco 1990).

El artículo está organizado en seis secciones. En la sección dos se hace la revisión de trabajos anteriores utilizando la técnica de regresión multinivel que se explica en la sección tres.  La cuarta sección presenta la metodología. La quinta muestra los resultados de os diferentes modelos de regresión multinivel para tercer y sexto grado. La última presenta las conclusiones y discusión de la investigación

La investigación multinivel tuvo sus inicios en el campo de la educación. Uno de los estudios pioneros en este sentido, se llevó a cabo a finales de la década de los setenta, y se basó en comparar el progreso que tenían los niños que seguían un estilo formal de enseñanza de aquellos que no lo tenían (Bennett, 1975). En un primer momento, los datos se analizaron utilizando las técnicas tradicionales de la regresión múltiple donde los niños, fueron considerados de manera individual como las unidades de análisis y, se ignoraron sus agrupaciones que se tienen dentro de los profesores y en las aulas. Los resultados eran estadísticamente significativos. Posteriormente, Aitking y Longford (1986) mostraron que cuando el análisis consideró correctamente agrupar los niños en los salones de clase, las diferencias significativas desaparecieron y los niños que recibieron educación de manera formal, no demostraron ser diferentes a los que no la tenían. Este análisis fue el primer ejemplo importante de uno de los estudios de niveles múltiples de datos en ciencias sociales. Como se puede observar en educación, los estudiantes son agrupados en clases, y ambos, estudiantes y clases, tienen características de interés común.

Por otra parte, Goldstein (1995) entendió antes de que los modelos multinivel estuvieran bien desarrollados como una herramienta de investigación, el problema de ignorar las estructuras jerárquicas. Así mismo, el autor estableció la necesidad de investigar la interacción entre las variables que describen a los individuos y las que describen el contexto, tomando en cuenta la falta de independencia de las respuestas dentro de los contextos

Por otro lado, Gertel et al (2006) usaron los datos del Operativo Nacional de Evaluación de la Calidad Educativa de Argentina del año 2000 e hicieron un estudio multinivel que permitió corregir parcialmente la sobreestimación del efecto atribuible a las características del hogar y del estudiante sobre los resultados de las pruebas de lengua y matemática, que surge cuando se aplica estimación de un solo nivel. Se observó una baja significativa en el papel del nivel socioeconómico del hogar y de las variables relacionadas con el estudiante, y un incremento importante en la relevancia de las variables del curso. De igual manera, el tipo de gestión de la escuela, las condiciones de calidad del aula y el título y experiencia del docente resultaron, todos ellos, factores de importancia para explicar el rendimiento. Otra variable significativa resulto ser la región del país donde se encuentra ubicado el curso.

En este orden de ideas, Rodríguez y Murillo (2011) presentan la estimación de la magnitud del efecto escolar para Colombia a partir de los datos del Segundo Estudio Regional Comparativo y Explicativo, SERCE. La muestra estuvo conformada por 7.236 estudiantes y 155 escuelas de 3º y 6º de básica. Los autores ajustaron modelos multinivel de dos niveles con las variables índice socioeconómico, nivel cultural, género, pre-escolarización, lengua materna, puntaje en matemáticas y lenguaje. Los resultados señalan un efecto entre 6% y 23%, mayor para lectura que para matemáticas, al igual que diferencias entre las escuelas a partir de las diferencias socioculturales y socioeconómicas de los estudiantes y de la escuela.

Asimismo, Murillo y Hernández (2011) realizaron un estudio multinivel de cuatro niveles de análisis con datos de 5.600 estudiantes de España y 8 países iberoamericanos, en 248 aulas, de 98 escuelas, cuyo objetivo era estimar la magnitud del efecto escolar, de aula y de país para cuatro variables socio-afectivas, así como analizar la consistencia de los efectos entre las mismas. Los resultados mostraron que los efectos escolares son muy bajos para las variables de producto socio-afectivo y que hay escasas consistencias entre ellas. 

Suarez et al (2016), por su parte, analizan los factores asociados al rendimiento académico de estudiantes de tercero y sexto grado de Paraguay a partir de los resultados obtenidos en el Tercer Estudio Regional Comparativo y Explicativo. Entre los resultados surgieron factores asociados al rendimiento escolar que responden a las características socio-culturales y económicas del Paraguay, logrando así, aportes relevantes para las políticas educativas del país. Por otro lado, se evidenció la importancia de variables relacionadas con el desempeño de estudiantes que fueron identificados en otros estudios en Iberoamérica y Latinoamérica.

La investigación realizada por Zambrano (2016), identificó aquellas variables de índole familiar, escolar, socioeconómica de los estudiantes, las prácticas y métodos pedagógicos de los docentes, y la inversión económica de la institución que inciden en el alcance de los logros educativos en el área de matemáticas a partir de un análisis multinivel de tres etapas. Para esto utilizó la información de 60.325 estudiantes de tercer grado de educación básica primaria, de 15 países que participaron en el Segundo Estudio Regional Comparativo y Explicativo en América Latina (Unesco,2006). Los factores de mayor impacto en el estudio fueron: género, tipo de escuela, zona, recursos de consulta, repetición de cursos, sentido de pertenencia al centro y PIB invertido en educación. Estas variables son explicadas por las características personales de los estudiantes, y las de la institución y el país al que pertenecen.

Estos modelos fueron aplicados por Montero et al (2007) con la finalidad de estudiar la relación existente entre el Rendimiento Académico, las variables y constructos de interés, basándose en el hecho que estos modelos son más poderosos que los clásicos de regresión múltiple utilizados tradicionalmente para analizar este tipo de relaciones, ya que permiten incorporar, en una misma ecuación, variables independientes pertenecientes a diferentes niveles de agregación, tales como variables individuales del estudiantado (primer nivel) y variables del profesorado y el curso (segundo nivel)

Cabe destacar que no se usa un Análisis de Regresión para esos casos ya que el mismo exige que las observaciones sean independientes entre sí. En la materia que concierne, se sabe que los estudiantes comparten aulas, experiencias, puntos de vista, por lo que el supuesto de independencia se ve gravemente alterado (Gelman y Hill, (2006); Goldstein (2003); Heck y Thomas, (2000); Hox, (1998) citado por Cynthia Martinez-Garrido y F. Javier Murillo Torrecilla).

Estos modelos surgieron a finales del siglo XIX (Aitkin y Longford, 1986, p. 1), como una alternativa a los modelos de regresión. Los primeros consisten en elaborar una ecuación para cada unidad de análisis, superando así las limitaciones de los de regresión múltiple y ajustándose más los modelos al contexto.

Los Modelos Multinivel son en realidad una extensión de los Modelos de regresión lineal clásicos, ya que en cada nivel hay un modelo de regresión, de manera tal que, los modelos del primer nivel están relacionados con uno de segundo nivel en el que los coeficientes de regresión del nivel 1 se regresan en un segundo nivel de variables explicativas, y así sucesivamente para los diferentes niveles. (Reise y Duan, 2003; Bickel, 2007). Suponga una ecuación de regresión lineal sencilla con dos variables independientes:

Son varios los pasos que se siguen cuando se lleva a cabo el diseño de un modelo multinivel (Murillo, 2007; Kim, 2009); a saber:

1. Estimar el modelo nulo: el cual se caracteriza porque, además de no incluir ninguna variable explicativa, se establece como línea base para la estimación de la varianza explicada a partir de la cual se van evaluando las contribuciones de los modelos más sofisticados.
2. Estimar el modelo con variables de ajuste: a partir del modelo obtenido en el paso anterior, se van introduciendo en la parte fija aquellas variables que se consideren ajustan y, una vez comprobada su significancia estadística, se incluyen en la parte aleatoria y se analiza su comportamiento. En este paso se pueden obtener resultados referentes a las estimaciones del efecto escolar, de aula y del sistema educativo para cada medida de rendimiento utilizado.
3. Aporte de cada una de las variables del proceso: se elabora un modelo para cada una de las variables dependientes que se estén estudiando incluyendo además las variables del contexto. De esta manera, se identifican los factores de cada uno de los niveles, por ejemplo: salón, estudiantes, colegios entre otras. El proceso para la estimación es similar al paso 2; es decir, se analiza si es significativa estadísticamente en la parte fija y luego en la parte aleatoria.
4. Estimar el modelo final: aquí se obtiene el modelo que incorpora todas las variables que resultaron significativas, obteniendo un modelo multinivel para cada una de las variables dependientes.
5. Verificar la correlación intraclase: el aporte del modelo con respecto al nulo a partir del Akaike y algunos pseudo-R propuestos por Snijders y Bosker (1994) y el de Xu (2003) respectivamente. 

El análisis jerárquico posee ventajas en el estudio del rendimiento escolar de los estudiantes, en relación con la utilización de técnicas tradicionales de estimación uninivel, en la medida que permite neutralizar parcialmente el efecto anidamiento de los datos (Gertel et al., 2006)

Sin embargo, según Martínez-Garrido y Murillo (2014), las principales ventajas del modelo jerárquico con respecto a los tradicionales son, en primer lugar el modelamiento simultáneo de diferentes niveles de variación, por ejemplo, estudiante y escuela, ya que la misma permite conocer qué porcentaje de la varianza del rendimiento académico se debe a características propias del estudiante (nivel 1; por ejemplo la edad) y cuales corresponden a la escuela (nivel 2; por ejemplo, índice de asistencia del docente a clase); en segundo lugar, estima el efecto principal sobre el rendimiento que tiene cada factor o conjunto de factores, y por último, permite que el nivel de rendimiento (intercepto) y la fuerza de su relación con las diferentes variables (pendiente) varíe libremente en los niveles de agregación presentes en el estudio (en nuestro caso, estudiante y escuela).

Se trata de una investigación no experimental, transversal, exploratoria-correlacional ya que no se tiene control directo sobre las variables explicativas; es transversal, pues los resultados se tomaron en un momento específico del tiempo. La muestra estuvo conformada por 7.406 estudiantes y 187 escuelas que hicieron parte del Terce. De este total, 3.631 estudiantes son de tercer grado y 3.775 son de sexto grado. Las escuelas participantes en la prueba representaban cuatro tipos: oficial urbana (27), oficial rural (113), particular urbano (46) y particular rural (1).

Acorde con el Reporte-técnico-Terce (2016, p. 206), el muestreo fue aleatorio, estratificado de conglomerados, bietápico, seleccionando en la primera etapa las escuelas (de manera sistemática en cada estrato) con probabilidad de selección proporcional al tamaño; en la segunda etapa se selecciona aleatoriamente un aula usando el WinW3S Within-school Sampling Software, y se aplicaron las pruebas a todos los estudiantes que pertenecían a esa aula. Es importante señalar, que el único criterio de exclusión fue el 2% de las escuelas pequeñas, en virtud que la relación existente entre los costos que implica aplicar los test en las mismas, versus los beneficios que aporta a la validez de los resultados, es mínima. Para el desarrollo de los modelos de regresión se utilizó la librería lme4, lmerTest y multilevel del software estadístico R.

Con respecto a las variables utilizadas, en el anexo 1 se encuentran aquellas que formaron parte del estudio para cada uno de los niveles estudiados, a saber: estudiante y escuela para tercero y sexto grado. Para 3º se contemplaron 38 variables, de las cuales 24 son referentes al nivel individuo y 14 al de escuela; de todas ellas 20 son continuas y 18 son categóricas. Para 6° se utilizaron 11 variables más, 30 continuas; 19 categóricas; 35 referentes a individuos y 14 al nivel de la escuela.

Para la estimación de los modelos, en primer lugar, se ajusta el modelo nulo, donde se aprecia el puntaje promedio en las pruebas sin tomar en consideración variable alguna de ajuste, de manera tal que da a conocer el puntaje promedio de las calificaciones obtenidas por los estudiantes por escuela. Cabe destacar que este modelo inicial se contrasta con los modelos posteriores para verificar si hay o no aporte en el mismo.

A partir este modelo inicial se estiman los demás modelos. Se comienza incorporando a la ecuación, cada una de las variables referentes al estudiante, quedando en la misma aquellas que resulten estadísticamente significativas. Luego se agregaron en la parte fija del modelo aquellas variables concernientes a la escuela, como lo son: infrad, asisdoa, libro de la materia, clambia, depend particular; violentp; pindigen de la escuela. Finalmente, se incluyen todas las variables que reflejaron ser significativas en la parte aleatoria del modelo. El proceso concluye cuando se consigue un adecuado ajuste estadístico a la luz de las consideraciones conceptuales.

Para explicar los resultados obtenidos por los estudiantes panameños en las pruebas de Lenguaje, Matemáticas y Ciencias se establecieron en cada una de las áreas modelos multinivel jerárquicos de dos niveles. En el primer nivel se relacionan los resultados con las variables asociadas al estudiante y a su familia. En el segundo nivel se emplean variables referentes a la escuela para poder explicar los valores de los coeficientes aleatorios del primer nivel.

Los resultados se presentan en dos partes, primero se obtienen los modelos nulos y la estimación de los efectos escolares brutos (la influencia de las escuelas sin considerar ninguna variable de ajuste); luego se describe el proceso de modelaje para llegar así al modelo final y el cálculo de los efectos escolares netos.

5.1 Estimación de los modelos nulos: efecto escolar bruto

El primer paso para la estimación de los efectos escolares consiste en la estimación de los cinco modelos nulos, uno para cada una de las materias bajo estudio. Los resultados obtenidos para cada grado se presentan en la tabla 1.

Tabla 1
Modelo nulo para 3er y 6° grado

D.E. Desviación estándar
Fuente: elaboración propia del autor (2018)

Los valores del coeficiente de correlación intraclase en la tabla 1 permite verificar que existe variabilidad entre las escuelas y, como esta variabilidad es estadísticamente significativa, se hace manifiesto el grado de anidamiento de los estudiantes dentro de las escuelas y, por lo tanto, se justifica el uso de métodos jerárquicos para el análisis de los datos y la inclusión de las variables que permitan conocer el efecto neto de la escuela.

5.2 Estimación de los Modelos finales: efecto escolar neto

Para el modelo final, se le agregaron al modelo nulo variables que pueden incidir en la estimación del efecto neto de la escuela, esto es, se incluyen las variables significativas del estudiante y de la escuela tanto en la parte fija como en la parte aleatoria del modelo (cuadernp en Lenguaje, Isecf en Matemáticas y trabaja en Ciencias en sexto grado y prekform6 en Matemáticas tercer grado), bajo la premisa de que la relación entre las variables del estudiante y la escuela con el puntaje promedio en la prueba no es la misma para todas las escuelas. Las demás variables que fueron significativas en cada grado y en cada área presentaron pendiente fija. Los resultados se presentan en las tablas 2 y 3.

Tabla 2
Efectos de las variables significativas en el modelo multinivel (Nivel estudiante)

Fuente: elaboración propia del autor (2018)

------

Tabla 3
Efectos de las variables significativas en el modelo multinivel (Nivel escuela)

 Fuente: elaboración propia del autor (2018)

Los modelos para sexto grado se presentan a continuación.

5.3 Modelos para Sexto grado

El índice socio económico se relacionó positivamente con el rendimiento en las tres áreas bajo estudio: Matemáticas, Lenguaje y Ciencias; en este sentido se aprecia que, al aumentar una desviación estándar en dicho índice, se obtiene que los estudiantes lograron en las pruebas, en promedio, 22.299 puntos más en Lenguaje, 12.920 puntos más en Matemáticas y 16.517 puntos más en Ciencias. Con respecto al índice del involucramiento de los padres en la escuela, hubo una relación inversa al rendimiento de los estudiantes en cada una de las áreas evaluadas. Estudiantes cuyos padres fueron citados a la escuela, o que reciben informes o comunicaciones sobre la conducta de sus hijos y/o reciben frecuentemente informes del desempeño académico, presentan menores resultados en la prueba. Al aumentar una desviación estándar en dicho índice, se obtienen en promedio 3.561 puntos menos en la prueba de Lenguaje, 3.51 puntos menos en Matemáticas y 5.702 puntos menos en Ciencias.

El uso de la información entregada por la escuela (Informf) muestra que los estudiantes cuyos padres utilizan los informes de la escuela para apoyarlos, llamarles la atención o felicitarlos según las notas obtenidas, presentan mejores resultados en la prueba (en promedio 13.649 puntos más en Lenguaje, 7.932 puntos más en Matemáticas y 12.878 puntos más en Ciencias) que aquellos estudiantes cuyos padres utilizan dicho informe solamente para conocer el progreso del rendimiento del estudiante en la escuela.

La repitencia de curso tiene una relación negativa significativa en cada una de las áreas. Estudiantes que repitieron algún grado tuvieron un rendimiento promedio inferior a estudiantes que no lo hicieron, manteniendo todo lo demás constante. En promedio, 17.918 puntos menos en Lenguaje, 16.932 puntos menos en Matemáticas y 18.836 puntos menos en Ciencias. Igualmente, estudiantes que trabajan presentan menores resultados en cada una de las pruebas. En promedio, 14.458 puntos menos en Lenguaje, 9.559 puntos menos en Matemáticas y 15.106 puntos en Ciencias. Disponer de un cuaderno se relacionó positivamente con el rendimiento en cada una de las áreas. En promedio, 18.889 puntos más en Lenguaje, 13.778 puntos más en Matemáticas y 23.542 puntos en Ciencias.

Asistir a un centro de educación formal entre los 4 y los 6 años tiene un efecto positivo sobre los resultados de las pruebas, en promedio 10.561 puntos más en Lenguaje, 14.577 puntos más en Matemáticas y 11.138 puntos más en Ciencias, respecto a aquellos que no asistieron.

Las variables institucionales índice de infraestructura, índice de asistencia del docente a clases, el poseer un libro de la asignatura, el porcentaje de indígenas en la escuela y el carácter (público o privado) de la institución estuvieron asociadas significativamente al rendimiento de los estudiantes en todas las áreas evaluadas. Estudiantes de instituciones educativas con mayor índice de infraestructura obtienen mejores resultados en la prueba. Al aumentar una desviación estándar en dicho índice  se obtienen en promedio 8.816 puntos más en Lenguaje, 9.009 puntos más en Matemáticas, 12.485 puntos más en Ciencias.

El índice de asistencia y puntualidad del docente a sus actividades académicas (Asisdo) presenta una asociación positiva con el rendimiento escolar en cada una de las áreas en estudio. Aquellos estudiantes de aulas en donde dicho índice es mayor obtienen mejores resultados., es decir, al aumentarlo en una desviación, se obtienen en promedio 4.649 puntos de más en la prueba de Lenguaje, 3.471 puntos más en Matemáticas y 5.008 puntos más en Ciencias.

Estudiantes que provienen de escuelas de carácter privado presentan, en promedio, mejores resultados en las pruebas; 17.407 puntos más en Lenguaje, 23.084 puntos más en Matemáticas y 23.700 puntos más en Ciencias, en relación a aquellos que provienen de escuelas oficiales. Se observa además que escuelas con alta proporción de niños indígenas obtienen resultados menores en las pruebas. Al aumentar en 1% la proporción de estudiantes indígenas en la escuela, considerando el resto de factores constantes, se observa en promedio 0.5155 puntos menos en la prueba de Lenguaje, 0.283 puntos menos en Matemáticas y 0.4449 puntos menos en Ciencias.

Además de estas variables comunes se aprecia que:

Los estudiantes de sexo masculino presentan en promedio 10.243 puntos menos en la prueba de Lenguaje respecto al sexo femenino. El índice de uso de libros en el hogar (Usolia6) muestra que los estudiantes que leen libros por diversión o para consulta de tareas presentan los mejores resultados en la prueba de Lenguaje. Al aumentar una desviación estándar en dicho índice se obtienen en promedio  6.415 puntos de más en la prueba.

El coeficiente del índice de uso de computador recreativo muestra que los estudiantes que usan más frecuentemente el computador para escribir correos electrónicos, chatear, conectarse con amigos en redes sociales o buscar información en internet presentan menores resultados en la prueba. Por cada punto de más en dicho índice se obtienen en promedio 3.915 puntos menos en Lenguaje y 7.297 puntos menos en Ciencias. El uso de libro texto es un factor positivo. En promedio, los estudiantes que tienen libros de texto de lenguaje obtienen 7.174 puntos más en la prueba respecto de quienes no lo tienen. En la prueba de matemáticas la diferencia es de 11.230 puntos más de aquellos que tienen texto respecto a quienes no lo tienen.

El índice de calidad del ambiente de aula muestra que los estudiantes que prestan atención a los profesores y, cuyos salones son poco ruidosos y desordenados presentan mejores resultados en la prueba, por lo que al aumentar una desviación estándar en dicho índice se obtienen en promedio 5.493 puntos más en Lenguaje y 3.138 puntos más en Ciencias. El coeficiente del índice de uso de computador educativo muestra que los alumnos que frecuentemente utilizan el computador para hacer sus tareas escolares y para buscar información en internet, presentan menores resultados en la prueba de Matemáticas, esto es, al aumentar una desviación estándar en dicho índice, se obtienen en promedio 3.972 puntos menos.

El índice de violencia en el aula (Violenp) muestra que los estudiantes en aulas en donde estudiantes han insultado, amenazado o golpeado a otros estudiantes o al profesor presentan menores resultados en la prueba. Al aumentar una desviación estándar en dicho índice, se obtienen en promedio 5.701 puntos menos en Matemáticas y 8.513 puntos menos en Ciencias. El índice de control y supervisión de estudios en el hogar está relacionado de forma positiva con el rendimiento en Ciencias. Estudiantes cuyos padres se aseguran que hayan hecho todas las tareas y están pendientes de las notas obtenidas en la escuela obtienen mejores resultados. Al aumentar una desviación estándar en dicho índice se obtienen en promedio 3.828 puntos más.

5.4 Modelos para Tercer grado

En este grado se observa nueve variables que fueron estadísticamente significativas en las dos áreas evaluadas.

El índice socio económico se relacionó positivamente con el rendimiento. Al aumentar una desviación estándar en dicho índice se obtienen en promedio 15.752 puntos más en Lenguaje y 17.685 puntos más en Matemáticas. El índice del involucramiento de los padres en la escuela se relacionó negativamente con el rendimiento en cada una de las áreas evaluadas. Estudiantes cuyos padres son citados frecuentemente a la escuela, firman pruebas de los estudiantes, reciben informes o comunicaciones sobre la conducta de sus hijos y reciben continuamente informes del desempeño académico del niño, presentan menores resultados en la prueba. Al aumentar una desviación estándar en dicho índice, se obtienen en promedio 4.026 puntos menos en la prueba de Lenguaje y 2.631 puntos menos en Matemáticas.

El índice de control y supervisión de estudios en el hogar está relacionado de forma positiva con el rendimiento. Estudiantes cuyos padres se aseguran que hayan hecho todas las tareas y están pendientes de las notas obtenidas en la escuela obtienen mejores resultados en la prueba. Al aumentar una desviación estándar en dicho índice se obtienen en promedio 5.317 puntos más en Lenguaje y 2.631 puntos más en Matemáticas.

La repitencia de curso tiene una relación negativa significativa en cada una de las áreas. Estudiantes que repitieron algún grado tuvieron un rendimiento promedio inferior a estudiantes que no lo hicieron, manteniendo todo lo demás constante. En promedio, 28.248 puntos menos en Lenguaje y 23.449 puntos menos en Matemáticas. Igualmente, estudiantes que trabajan presentan menores resultados en cada una de las pruebas. En promedio, 9.580 puntos menos en Lenguaje y 7.630 puntos menos en Matemáticas.

Las variables de la escuela índice de Infraestructura, índice de asistencia del docente a clases, el poseer un libro de la asignatura y el porcentaje de indígenas en la escuela estuvieron asociadas significativamente al rendimiento de los estudiantes en todas las áreas evaluadas. Estudiantes de instituciones educativas con mayor índice de infraestructura obtienen mejores resultados en la prueba. Al aumentar una desviación estándar en dicho índice, se obtienen en promedio 13.953 puntos más en Lenguaje y 14.050 puntos más en Matemáticas.

El índice de asistencia y puntualidad docente (Asisdo) presenta una asociación positiva con el rendimiento académico en cada una de las áreas. Al aumentar una desviación estándar en dicho índice se obtienen en promedio más de 6.546 puntos en la prueba de Lenguaje y más de 5.124 puntos en la de Matemáticas. El uso de libro texto es un factor positivo. En promedio, los estudiantes que tienen libros de texto de Lenguaje obtienen 10.026 puntos más en la prueba respecto de quienes no lo tienen. En la prueba de Matemáticas la diferencia es de 11.666 puntos más de aquellos que tienen texto respecto a quienes no lo tienen.

Se observa además que escuelas con alta proporción de niños indígenas obtienen resultados menores en las pruebas. Al aumentar en 1% la proporción de estudiantes indígenas en la escuela considerando el resto de factores constantes, se observa en promedio 0.49713 puntos menos en la prueba de Lenguaje y 0.45294 puntos menos en Matemáticas.

Además de estas variables comunes, se aprecia que: el uso de la información entregada por la escuela (Informf) muestra que los estudiantes cuyos padres utilizan los informes de la institución para apoyarlos, llamarles la atención o felicitarlos según las notas obtenidas, son aquellos que presentan mejores resultados en la prueba (en promedio 8.784 puntos más en Lenguaje) que aquellos estudiantes cuyos padres utilizan dicho informe solamente para conocer el progreso del rendimiento del estudiante en el colegio.

Cabe destacar que las niñas panameñas obtienen mejores resultados en la prueba de Lenguaje que los niños; el hecho de que el estudiante disponga de un cuaderno de apuntes se relacionó positivamente con el rendimiento en Lenguaje, con un promedio de 8.623 puntos más. De igual manera si los alumnos asisten a un centro de educación formal entre los 4 y los 6 años tiene un efecto positivo sobre los resultados en Matemáticas, en promedio 6.474 puntos más respecto a aquellos que no asistieron.

Las puntuaciones en lenguaje de los estudiantes que provienen de escuelas de carácter privado son en promedio 23.944 puntos mayor con respecto a aquellos que provienen de escuelas oficiales. Para finalizar, se aprecia que hogares que reciben subsidios del estado panameño hace que las notas de los estudiantes en el área de Matemáticas sea en promedio 5.742 puntos menos que la de aquellos cuyas familias no reciben subsidio alguno.

Es necesario hacer una primera acotación frente a la dificultad para modelar un fenómeno tan complejo como lo es el rendimiento académico en una prueba internacional, más aún ante la presencia de datos faltantes, común en estas investigaciones. El análisis multinivel jerárquico permitió observar la importancia del papel del nivel socioeconómico familiar, el cual está relacionado de forma directa con el rendimiento académico, es decir que la educación en el país es inequitativa. Al aumentar la tenencia de bienes y servicios en el hogar y la educación de los padres, más altos serán los rendimientos del estudiante.

En todas las pruebas y grados se observó que los estudiantes que repitieron algún grado obtuvieron resultados más bajos frente a aquellos que no han repetido. De igual forma, los resultados de la modelación muestran que el trabajo infantil tiene un efecto negativo sobre el rendimiento académico. En sexto grado se observa que es uno de los factores con mayor incidencia sobre los resultados de las pruebas. Estudiantes de instituciones educativas con mayor índice de infraestructura, mayor índice de asistencia y puntualidad docente, mejor clima del aula y uso de libro en su respectiva asignatura obtienen mejores resultados.

Las comunidades indígenas, conocidas en Panamá como comunidades de grupos originarios, representan un caso especial. Representan los grupos sociales en mayor desventaja y riesgo desde varios puntos de vista. Finalmente, el desarrollo y refinamiento de modelos jerárquicos no termina con este trabajo.  Además de seguir perfeccionándolos e interpretándolos, está la posibilidad de aprender de la comparación de modelos en Panamá con modelos similares de otros países, y modelos de los resultados Serce de Panamá con los resultados del Terce. 

En cuanto a las implicaciones educativas, los resultados aquí presentados pueden verse como un aporte para que las autoridades educativas, docentes y padres de familia tomen decisiones que orienten las prácticas educativas para mejorar el rendimiento académico de los estudiantes. Al Estado le convendría considerar políticas públicas educativas de mejora de aprendizajes que además sesguen los recursos hacia disminuir la brecha de rendimiento que impone el índice socioeconómico y cultural de las familias. Es recomendable que desde cuerpo docente se realice un mayor seguimiento a estudiantes  con dificultades académicas, crear planes de tutorías y acompañamiento en las áreas con mayor dificultad e implementar diversas estrategias de enseñanza para reforzar el conocimiento.

Ante los bajos resultados académicos del niño trabajador, se hace necesario la implementación y/o cumplimiento de políticas sociales que disminuyan el trabajo infantil. De igual forma, merece apoyo especial y seguimiento a los procesos educativos aquellas escuelas con mayor presencia de estudiantes de comunidades indígenas. Para mejorar el rendimiento se recomienda la creación de políticas educativas que contribuyan al mejoramiento las condiciones de las escuelas. Garantizar la existencia y mantenimiento de aulas con buenas condiciones físicas para aprendizaje (temperatura, ruido, pocos distractores), gimnasios deportivos, salas de cómputo, auditorios, salones de arte, biblioteca y la prestación de servicios básicos (acueducto, alcantarillado, energía, internet). De igual forma dotar las aulas de libros de texto para uso de los estudiantes en el quehacer educativo diario.

Desde la casa y desde las autoridades escolares se debe orientar el proceso de enseñanza y aprendizaje orientada al respeto y la sana convivencia. Aulas con clima de irrespeto, gritos, insultos, falta de comunicación entre estudiantes y estudiante-docente afectan de manera negativa el aprendizaje.  Los resultados también sugieren el posibilitar el ingreso a la educación preescolar de todos los niños y niñas.

Los autores agradecen a la Secretaría Nacional de Ciencia, Tecnología e Innovación, Senacyt, Panamá Contratación por Mérito No. 178, 2016, por el financiamiento de dicho proyecto.

Aitkin, M. and Longford, N. (1986). Statistical Modelling Issues in School Effectiveness Studies. Journal of the Royal Statistical Society, 149 (1). 1-43.

Bennett, S. N. y Jordan, J. (1975), A typology of teaching styles in primary schools. British Journal of Educational Psychology, 45: 20–28. doi:10.1111/j.2044-8279.1975.tb02291.x

Bickel, R. (2007). Multilevel analysis for applied research: It’s just regression! New York: Guilford.

Blanco, E. (2008). Factores escolares asociados a los aprendizajes en la educación primaria mexicana: un análisis multinivel. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(1).

Gertel, H., Giuliodori, R., Herrero, V., Fresoli, D., Vera, M. L., y Morra, G. (2006). Análisis multinivel del rendimiento escolar al término de la educación básica en Argentina, documento presentado en la Reunión anual de la Asociación Argentina de Economía Política [en línea] en http://www.aaep.org.ar/espa/ anales/works06/Gertel_Giuliodori_Herrero.pdf

Goldstein, H. (1995) Hierarchical Data Modeling in the Social Science. Journal of Educational and Behavioral Statistics. Vol. 20, No. 2, Special Issue: Hierarchical Linear Models: Problems and Prospects (Summer, 1995), pp. 201-204

Kim, J.  (2009). Multilevel analysis: An overview and some contemporary issues. The SAGE Handbook of Quantitative Methods in Psychology. London: Sage, 337-61.

Martínez-Garrido y Murillo, (2013), Programas para la realización de Modelos Multinivel. Un análisis comparativo entre MLwin, HLM, SPSS y Stata. Revista Universidad de Oviedo,  19 (2), pp. 1-24

Montero Rojas, E., Villalobos Palma, J. y Valverde Bermúdez, A. (2007). Factores institucionales, pedagó- gicos, psicosociales y sociodemográficos asociados al rendimiento académico en la Universidad de Costa Rica: Un análisis multinivel. RELIEVE, v. 13, n. 2, p. 215-234.

Murillo, J.; Bernal, E. (2007). Investigación iberoamericana sobre eficacia escolar. Convenio Andrés Bello.

Murillo-Torrecilla, J; Hernández, R. (2011). Efectos escolares de factores socio-afectivos. Un estudio Multinivel para Iberoamérica. Revista de Investigación Educativa, 29 (2), pp. 407-427.

Parra, M. (2016) Factores asociados al Rendimiento Académico de los estudiantes de Medicina, régimen anual, Universidad de los Andes, Mérida, Venezuela, años 2004 al 2007. Rev. Educ. Cienc Salud, 12 (2)

Reise, S., Duan, N. (2003) Multilevel Modeling: Methodological Advances, Issues, and Applications - CRC Press Book.

Rodríguez, O. y Murillo, F. (2011). Estimación del efecto escuela para Colombia. Magis. Revista Internacional de Investigación en Educación, 3 (6).

Snijders, T. A., Bosker, R. J. (1994). Modeled variance in two-level models. Sociological Methods & Research, 22(3), 342-363

Suárez, S., Elías, R., y Zarza, D. (2016). Factores asociados al rendimiento académico de estudiantes de Paraguay: un análisis de los resultados del TERCE. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 14 (4).

UNESCO-OREALC. (2016). Reporte Técnico. Tercer Estudio Regional Comparativo y Explicativo, TERCE. Santiago, Chile. Documento en línea. Consultado 11 de julio 2017. http://www.unesco.org/fileadmin/MULTIMEDIA/FIELD/Santiago/pdf/Reporte-tecnico-TERCE.pdf,

Xu, Ronghui (2003). Measuring explained variation in linear mixed effects models. En: Statistics In Medicine. 22, p. 3527–3541.

Zambrano, J. (2016) Un estudio multinivel del rendimiento escolar en matemáticas para tercer grado de educación básica primaria en América Latina. Sociedad y economía. 30, 91-120.

Anexos

Nivel Estudiante

1. M.Sc.  Docente tiempo completo. Universidad de Los Llanos, Km. 12 Vía Puerto López PBX, Villavicencio, Colombia. dvillalbar@unillanos.edu.co

2. Ph.D. Profesor asociado, Universidad Pontificia Bolivariana, Kilómetro 6 vía Bucaramanga –Piedecuesta, Colombia. marianela.luzardo@upb.edu.co

3. M.Sc.  Docente tiempo completo. Universidad Autónoma de Bucaramanga, Calle 48 # 22-39, Bucaramanga, Colombia. efajardo@unab.edu.co

4. Ph.D. en ingeniería eléctrica y ciencias de la computación. Ejecutivo Principal. Centaury Technologies Corporation Ciudad del Saber, Edif. 230, Panamá, jescobar@centauritech.com

5. Estudiante de Ingeniería de software. Centaury Technologies Corporation Ciudad del Saber, Edif. 230, Panamá, ctunon@centauritech.com