ISSN 0798 1015
ISSN 0798 1015
Vol. 39 (Nº 17) Año 2018. Pág. 13
Santiago LEGUEY Galán 1; Sonsoles LEGUEY Galán 2; Luis MATOSAS López 3
Recibido: 28/12/2017 • Aprobado: 20/01/2018
RESUMEN: La valoración individual de la docencia es uno de los indicadores de calidad más utilizados en instituciones de enseñanza superior. En este artículo se ajusta un modelo de regresión ordinal para determinar las variables más relevantes para explicar la satisfacción del alumnado con la actividad docente. Las variables identificadas están en sintonía con las variables o dimensiones propuestas por la mayoría de los autores. Además se analizan las relaciones de otras variables entre sí y con la satisfacción del alumnado. |
ABSTRACT: Students’ evaluation of instructors is one of the main indicators of teaching quality used in institutions of higher education worldwide. The present study adjusts an ordinal regression model to determine the variables that best explain students’ satisfaction with instruction. The dimensions identified concur with those pointed out by most authors in the research literature of the field. Relationships among variables, as well as the relations between individual dimensions and the overall satisfaction with students, are also investigated. |
La valoración individual de la docencia constituye desde hace décadas uno de los indicadores de calidad más utilizados en las instituciones de enseñanza superior de todo el mundo (Darwin, 2017; Wachtel, 1998; Zabaleta, 2007). La principal y casi única fuente de recogida de información proviene de las encuestas realizadas a los estudiantes a través de cuestionarios; estos consisten generalmente en un conjunto de preguntas diseñadas para evaluar algunos aspectos de la enseñanza con una escala común de respuestas tipo Likert y que pueden completarse con una o varias preguntas abiertas (P. A. Cohen, 1981; Marsh, 1987; Pozo-Muñoz, Rebolloso-Pacheco, & Fernandez-Ramirez, 2000).
Si bien estos cuestionarios fueron concebidos inicialmente como instrumentos que permitían al profesor analizar y mejorar su práctica docente (Balam & Shannon, 2010; Griffin, 2001; Kulik, 2001; Marsh & Roche, 1997), la generalización de su uso ha venido de la mano de su incorporación rutinaria a los sistemas de calidad de la enseñanza universitaria y su inclusión en los procesos de acreditación del profesorado (Chen & Hoshower, 2003; Galbraith, Merrill, & Kline, 2012; Johnson, 2000; Senior, 2000), lo que se ha debido, en gran medida, a su facilidad de aplicación (Penny, 2003; Pozo Muñoz, Bretones Nieto, Martos, & Alonso Morillejo, 2011; Santos, Frango, & Lechugo, 2017).
La mayoría de los cuestionarios de evaluación docente contienen un ítem, generalmente al final, en el que se pide una valoración global (Sproule, 2000). Este ítem global se utiliza para valorar programas formativos completos, cursos o profesores individuales, dependiendo del objeto de la evaluación. Se encuentra tanto en instrumentos desarrollados a nivel interno por las propias instituciones de enseñanza superior como en instrumentos cuyo diseño y validez han sido ampliamente probados con estudios científicos y que son de aplicación y referencia en países de todo el mundo. Tal es el caso del Students’ Evaluation of Educational Quality (SEEQ) de Marsh (1982), el Course Experience Questionnaire (CEQ) desarrollado inicialmente por Ramsden (1991) y revisado posteriormente por (Wilson, Lizzio & Ramsden (1997), o la adaptación del mismo realizada por Ginns, Prosser, & Barrie (2007), el Student Course Experience Questionnaire (SCEQ); así como los instrumentos de Cohen (2005) o de Barth (2008), centrados en la evaluación de los docentes. En el contexto español, los cuestionarios que emplean la mayoría de las universidades incluyen una pregunta de valoración global de la docencia (García García, González López, & Corpas Reina, M. del Carmen, 2004; Molero López-Barajas & Ruiz Carrascosa, 2005).
Esta pregunta, además de su propio contenido informativo, resulta especialmente importante para la validación de los instrumentos de evaluación y en la identificación de las características que definen la docencia de calidad, a pesar de que no hay una definición unánime del significado de efectividad o calidad docente (Cashin, 2003).
En efecto, el análisis de las dimensiones subyacentes en las valoraciones a partir de las relaciones entre las variables ha sido, entre otras, una forma de confirmar la validez de los instrumentos de evaluación docente (Ory & Ryan, 2001). Aunque parece que hay consenso entre los investigadores en cuanto a los principales factores que los alumnos perciben como docencia efectiva o de calidad (conocimiento de la materia, organización del curso, disponibilidad y atención al alumno, retroalimentación e interacción con los estudiantes), lo cierto es que existe una amplia variedad en cuanto al número y definición de las dimensiones que recogen los distintos instrumentos de evaluación existentes (Spooren, Brockx, & Mortelmans, 2013). Esta multidimensionalidad confirma que los alumnos distinguen entre los diferentes componentes de la docencia que mide cada instrumento, a los que además asignan un peso diferente en la estimación de la valoración global (Benton & Cashin, 2012; Feldman, 1976; Feldman, 1988; Marsh, 1987).
Desde otro punto de vista, el análisis de la relación de los resultados de las valoraciones de dimensiones específicas con las medidas globales incluidas en los cuestionarios permite validar las escalas de la docencia recogidas por el instrumento en cuestión (Ginns et al., 2007; Richardson, Slater & Wilson, 2007; Richardson, 2005; Young & Shaw, 1999).
Numerosos estudios en el campo de la valoración de la docencia se han centrado en determinar qué aspectos de los instrumentos de evaluación tienen mayor impacto en la valoración global del docente. Así se identifican las características que los alumnos perciben como más importantes o significativas de una docencia de calidad.
Por otra parte, es muy común encontrar un único indicador de valoración individual del profesorado como resumen de los resultados de una encuesta. Pese a las críticas que recibe, este procedimiento está globalmente extendido con fines administrativos que afectan al salario y promoción de los docentes evaluados (Algozzine et al., 2004). Es fundamental, por tanto, entender qué determina estas puntuaciones para evitar un mal uso o malinterpretación de los resultados de las encuestas y situarlas en contextos comparables que no perjudiquen a los docentes evaluados (Barth, 2008; Cheung, 1997). En cualquier caso, algunos autores han señalado la necesidad de complementarlo con criterios adicionales (Feldman, 2007; Ryan & Harrison, 1995).
En este sentido, autores como Apodaca & Grad (2005) recomiendan el uso exclusivo de indicadores objetivos que se deduzcan sistemáticamente de las preguntas de los cuestionarios; es decir, utilizar las preguntas relativas a las valoraciones globales incluidas en los cuestionarios como único indicador de valoración global o, alternativamente, indicadores generados a partir de las medias no ponderadas de los factores individuales del instrumento. Este planteamiento, defendido inicialmente por Abrami (Abrami, 1985; Abrami & d'Apollonia, 1991; Abrami & D'Apollonia, 1990) encontró la réplica de otros autores para los que, dado el carácter multidimensional de la enseñanza, deberían considerarse las dimensiones individuales de forma separada (Algozzine et al., 2004; Spooren et al., 2013). El consenso vino de la mano de Marsh (Marsh, 1991; Marsh, 1987), quien señaló que, si se utiliza un único indicador global, éste debería obtenerse como la media ponderada de los factores individuales, determinando los pesos de forma lógica y empírica en función del objetivo de la evaluación.
A partir de esta premisa se abren líneas de investigación que tienen como eje identificar el peso que debería asignarse a cada dimensión a la hora de calcular este indicador. Muchos de los estudios parten del análisis de la importancia que asignan implícitamente los estudiantes a las distintas dimensiones de un cuestionario a la hora de puntuar la pregunta de valoración global (Broder & Dorfman, 1994; Cheung, 1997; Harrison, Douglas, & Burdsal 2004; Ryan & Harrison, 1995). Chonko, Tanner, & Davis (2002) infieren el peso de cada ítem a partir de la frecuencia de respuestas a preguntas abiertas. Por otro lado, Harrison, Ryan, & Moore (1996) preguntaron directamente a los alumnos la importancia que debía tener cada dimensión del SEEQ a la hora de estimar una valoración global (importancia explícita), mientras que en el estudio de Marsh & Roche (1993) los profesores asignan un peso en función de la importancia relativa que dan a cada variable del SEEQ.
Previamente ya se habían realizado estudios que correlacionaban las variaciones globales incluidas en los cuestionarios con las dimensiones o factores individuales de la docencia. Feldman (1976) basa su revisión en parte de estos estudios y establece la importancia relativa que tienen para los estudiantes las dimensiones de la docencia desde distintos enfoques. Establece un ranking de dimensiones a partir de las características que definirían al profesor ideal, las descriptoras del mejor profesor que han tenido los alumnos, las que serían importantes para la docencia efectiva o las determinantes de las valoraciones globales realizadas a profesores. En este ranking destacan la capacidad de suscitar el interés del alumno, la claridad expositiva, la preparación y organización del curso, y el entusiasmo y conocimientos del profesor. Las características asociadas a cualquiera de estas cinco dimensiones son las que tienen más peso en las valoraciones globales reales, y corresponden al conjunto de características asociadas a la tarea de presentación del contenido (rol del profesor como Actor o comunicador). No obstante, Feldman (1988) encuentra que los pesos que asignarían los alumnos de forma implícita a cada factor de la docencia, deducidos a partir de las definiciones que hacen del docente ideal y de la importancia que dan a las distintas características de la docencia, no coinciden necesariamente con los pesos que realmente aplican al asignar una valoración global del docente. Estas diferencias se deberían a la interferencia de otros factores a la hora de estimar la valoración global.
Los estudios de correlación ponen en evidencia, en cualquier caso, que los alumnos valoran las características relacionadas con la enseñanza efectiva por encima de las cualidades personales del docente (Spooren et al., 2013). Así, Ryan & Harrison (1995) identificaron el aprendizaje y los métodos de evaluación como los factores que más influyen en las valoraciones globales; Feldman (2007) refiere una elevada correlación de la calidad y frecuencia de la retroalimentación facilitada por el profesor con la valoración global que recibe, y Barth (2008) encuentra que los alumnos valoran las características relacionadas con la calidad de la docencia por encima de otras características. En el estudio de Richardson et al. (2007), la mayor correlación con la satisfacción global la tienen las escalas referidas a las habilidades docentes (hacer la asignatura interesante, explicación y entusiasmo), y al apoyo y consejos que reciben los alumnos del profesor a lo largo del curso.
En muchos de los instrumentos de evaluación el ítem de valoración general se formula en términos del grado de satisfacción del estudiante con la docencia recibida o con la labor desarrollada por el profesor. Este hecho ha despertado el interés por entender qué características docentes influyen o motivan esta satisfacción.
Independientemente de la falta de acuerdo en cuanto a lo que realmente miden las encuestas de valoración, si percepción de la calidad docente o satisfacción del alumnado (Bedggood & Donovan, 2012; Craig, 1995; Harnash-Glezer & Meyer, 1991), lo que es evidente es que existe una elevada correlación entre la satisfacción y las dimensiones de la docencia. Este enfoque cobra importancia en el contexto actual en el que las universidades muestran interés por identificar las necesidades y expectativas de los estudiantes, argumentando que la satisfacción tiene un impacto positivo en la motivación del estudiante, permanencia en la institución, efectos de llamada y obtención de fondos; en este sentido, Elliott & Shin (2002) identificaron que la mayoría de los factores que predecían la satisfacción del estudiante a nivel institucional estaban relacionados con la calidad del curso y de la enseñanza.
Como indican Denson, Loveday, & Dalton (2010), la pregunta de valoración global es uno de los indicadores que más atención recibe en los cuestionarios de valoración docente. Barth (2008) señala a su vez que los evaluadores tienden a fijarse en la pregunta de valoración global del profesor en vez de utilizar toda la información obtenida de los cuestionarios. Algunos estudios ha puesto el foco de atención, por tanto, en determinar la capacidad predictora de las dimensiones de la enseñanza en relación con el ítem de satisfacción global de los estudiantes con la docencia.
Denson et al. (2010) centraron su estudio en identificar las variables que influyen en la satisfacción global de los alumnos con la calidad de los cursos impartidos en diferentes áreas de conocimiento; los aspectos relacionados con la actividad evaluadora se manifestaron como los principales predictores. (Smith & Cranton, 1992) comprobaron que los predictores de la satisfacción global varían según el contexto académico del estudiante (nivel, disciplina y tamaño de la clase), de forma que los intereses y expectativas de los alumnos van cambiando a lo largo de sus estudios (Hills, Naegle, & Bartkus, 2009; Medel & Asún, 2014). Estas diferencias se observan también entre los estudiantes universitarios y los egresados, de forma que lo más valorado para los graduados es la percepción de la relevancia profesional del curso y la capacidad del docente para introducir situaciones reales en el aula, mientras que para los estudiantes universitarios la percepción de la actuación y habilidades del docente determinan la satisfacción global con el curso (Guevara & Stewart, 2011).
Los resultados de los diferentes estudios coinciden en las características de los docentes más valoradas por los estudiantes y que son, por tanto, predictores de la satisfacción global. Özgüngör (2010), en su estudio para probar la fiabilidad y validez del CEQ en el contexto de Turquía, determina la importancia de aspectos relacionados con las habilidades docentes (conocimientos, capacidad de motivar a los alumnos para aprender y favorecer la compresión de los contenidos) como predictores del grado de satisfacción global de los estudiantes frente a otros aspectos de la docencia. Bedggood & Donovan (2012) refiere estudios previos en los que los principales factores que contribuyen a la satisfacción se engloban en la dimensión calidad de la docencia.
Estos resultados coinciden con estudios previos a la hora de identificar las habilidades docentes, especialmente la claridad expositiva y la interacción con los alumnos, como mejores predictores que otros aspectos de la docencia (Finaly-Neumann, 1994; Spooren, Mortelmans, & Denekens, 2007). Lo mismo ocurre en el ámbito español, en el que los factores interacción con el profesor y metodología docente son las dimensiones que predicen en mayor medida la valoración global de la docencia universitaria (Molero López-Barajas & Ruiz Carrascosa, 2005).
En este trabajo se analizan las relaciones de la pregunta satisfacción global con el resto de las preguntas del cuestionario. Se trata de identificar las características de la actividad docente que influyen en el grado de satisfacción del alumno con la actividad docente. Para ello se comparan diferentes modos de introducción de las variables en el modelo. Además se estudia la influencia que tienen otras variables con el grado de satisfacción del estudiante, en términos de las dimensiones definidas previamente en el cuestionario, analizando los aspectos que influyen positiva o negativamente en la valoración final que realiza el alumno más allá de los predictores principales.
Se analizan los resultados de las valoraciones docentes realizadas por alumnos de la Universidad Rey Juan Carlos en cuatro cursos académicos, entre los cursos 2005/06 y 2008/09. En este periodo se ha aplicado un cuestionario común a los alumnos de todos los cursos de licenciaturas, diplomaturas, ingenierías técnicas e ingenierías superiores.
La recogida de datos se realizaba de forma presencial dos veces al año. En el primer semestre se valoraban las asignaturas del primer semestre y en el segundo las del segundo semestre y las de duración anual. La duración del periodo de recogida de información era de dos semanas empezando entre dos y cuatro semanas antes del inicio del periodo de exámenes.
Se recogieron 233.494 cuestionarios correspondientes a 2908 asignaturas y 4750 asignaturas-grupos Cada profesor fue valorado en cada asignatura por un promedio de 49,15 alumnos.
Tabla 1
Distribución de las encuestas
recogidas por curso académico
En este periodo se aplicó un cuestionario común a las licenciaturas, diplomaturas, ingenierías técnicas e ingenierías superiores. El cuestionario constaba de 27 preguntas, de las que analizamos las 24 comunes a todas las asignaturas. En 20 de las 24, las respuestas recogen el grado de acuerdo con diferentes afirmaciones sobre la docencia mediante una escala de Likert de 1 a 5 puntos en la que el uno representa el mínimo grado de acuerdo y el 5 el máximo. Las otras cuatro se refieren al trabajo del alumno y resultados esperados.
La valoración docente se configura en torno a seis dimensiones definidas a priori, tres de ellas relativas al profesorado: Planificación y organización de la asignatura, Cumplimiento de obligaciones formales del profesor y Metodología docente, y otras tres dedicadas al alumno: Implicación con la asignatura, Trabajo y Resultados esperados, además de un indicador adicional en el que se pregunta por la satisfacción global del alumno con la labor del profesor.
Tabla 2
Dimensiones del cuestionario de valoración docente
Para medir el grado de asociación entre las variables relacionadas se calcula el valor del coeficiente Tau-b de Kendall. La tabla se ordena de forma descendente según la relación de cada variable con la satisfacción global del alumno con la actividad docente. De esta forma obtienen agrupaciones de variables en función de su grado de asociación con la satisfacción del alumnado. Se agrupan las variables considerando intervalos de 0,10 putos de longitud. Se señalan además las asociaciones entre las variables de cada grupo, relacionando los grupos con las dimensiones consideradas a priori.
Para predecir la probabilidad de respuesta de las categorías de la variable que mide la satisfacción global en función de las respuestas dadas al resto de variables se plantea un modelo de regresión ordinal.
Los datos se procesan con el SPSS (versión 15).
Utilizamos el valor del estadístico Pseudo R2 de Nagelkerke como medida de bondad de ajuste. Se van introduciendo variables una a una, la variable que se introduce en cada etapa es la que maximiza el ajuste del modelo en cada paso. Se consideran y comparan medidas de ajuste para tres formas diferentes de introducción de las variables explicativas.
La tabla 3 muestra las relaciones entre las variables del cuestionario con la satisfacción global del alumno con la actividad docente, representadas por el coeficiente Tau-b de Kendall. Todas las asociaciones son significativamente distintas de cero.
Tabla 3
Asociación entre las variables (Tau-b de Kendall)
La metodología docente se muestra como la dimensión fundamental en la satisfacción del alumnado. Las cinco variables más importantes atienden a dos aspectos de la metodología docente. Tres de ellas se relacionan con los resultados de la enseñanza, es decir lo que el profesor hace en el aula para que se le entienda (¿le entiendo?): El profesor explica con claridad (0,67), Responde con precisión a las preguntas que se plantean en el aula (0,63,), y El ritmo de las clases facilita seguir el hilo de las explicaciones (0,62). Otras dos preguntas; El profesor se esfuerza por atraer el interés del alumno en la materia impartida (0,62) y La comunicación profesor/estudiante es fluida creando un clima de confianza (0,60), se relacionarían con la actitud del profesor en el aula. Las asociaciones entre todas estas variables son fuertes, variando entre 0,5 y 0,67.
Las dos variables siguientes: Tiene en cuenta mis dificultades de aprendizaje (0,54) y manifiesta una preparación previa de la materia explicada en clase (0,54), se relacionan con aspectos no observables, más subjetivos. Las preguntas Explica los objetivos de los temas al inicio de los mismos (0,51) y Los contenidos teóricos se complementan ( 0,50) atienden al modo en que se organiza la docencia.
La variable menos relacionada en esta dimensión es El profesor motiva el uso de tutorías (0,40).
La segunda dimensión más importante es la planificación y organización de la asignatura. Las explicaciones en clase se ajustan a los contenidos del programa (0,53) es la pregunta que mayor asociación tiene en esta categoría, le siguen El profesor ha informado claramente sobre los criterios de evaluación y calificación de la asignatura (0,43) y El profesor da a conocer el programa a principio de curso (0,41). De nuevo estas variables atienden al modo en que se organiza la docencia.
Con una asociación inferior encontramos las dos preguntas relativas al cumplimiento de las obligaciones formales del profesor, El profesor respeta los horarios de clase (0,41) y Está disponible en los horarios de tutorías asignadas (0,37).
La única asociación relevante con la satisfacción en las dimensiones que afectan a los estudiantes la encontramos en Los contenidos de esta asignatura me parecen interesantes (0,38) en el resto de las variables relacionadas con la implicación del alumno y la expectativa de calificación están entre 0,12 y 0,21. Las asociaciones con las tres preguntas relativas al trabajo del estudiante son prácticamente irrelevantes, inferiores a 0,05.
Consideramos tres formas de introducir las variables en el modelo de regresión ordinal. En el primer modelo (M1) se tratan las variables independientes como factores, se introducen las variables secuencialmente escogiendo en cada paso la de mayor capacidad explicativa.
En el segundo modelo (M2) se generan nuevas variables en cada paso. La primera variable escogida responde a los mismos criterios que el primer modelo, por tanto no hay variación. Una vez escogida esta variable, se generan nuevas variables combinando cada categoría de la primera variable elegida con las categorías del resto de las variables, de modo que las nuevas variables consideran como factores variables que contienen todas las combinaciones posibles de los niveles de la variable escogida en la primera etapa, y todas las candidatas a entrar en el modelo en la segunda. En la tercera etapa se combinan los niveles de las dos variables introducidas en la segunda con todas las niveles de las variables candidatas a entrar, y así sucesivamente. Finalmente, el tercer modelo (M3) considera las variables regresoras como continuas.
En la siguiente tabla se muestran los cinco primeros pasos, en los que la mejora en el ajuste con cada nueva variable introducida es superior a un 1%.
Tabla 4
Valores del estadístico Pseudo R2 de Nagelkerke
para cada modelo en cada etapa
Aunque se aprecia una ligera mejora del ajuste mediante el uso del modelo secuencial (M2), consideramos que no justifica la complejidad que añade debida a la gran cantidad de parámetros involucrados. La diferencia entre los modelos M1 y M3 radica en la consideración, en el primer modelo, de una distancia extraída de los datos entre las categorías de las variables predictoras. Sin embargo, podemos apreciar que el ajuste es prácticamente idéntico, lo que nos lleva a emplear el modelo más sencillo (M3).
Tabla 5
Estimaciones de los parámetros en cada etapa Modelo M3
El valor del coeficiente de la variable “El profesor explica con claridad” es sensiblemente mayor que el del resto de las variables consideradas; de hecho, los coeficientes de estas últimas no son muy diferentes. Podemos, por tanto, considerar que la satisfacción del alumno con la labor docente del profesorado depende esencialmente de la claridad de las explicaciones, sin que se aprecien grandes diferencias en cuanto a la importancia en el resto de las variables explicativas.
Así, por simplicidad, consideramos la inclusión de nuevas variables mientras el incremento en el ajuste sea superior al 5% El modelo ajustado dependería únicamente de dos variables:
X1= El profesor explica con claridad
X2= La comunicación profesor/estudiante es fluida creando un clima de confianza
A continuación se muestran los resultados de clasificación del modelo:
Tabla 6
Porcentaje de datos correctamente clasificados modelo M3 paso2.
El modelo clasifica mejor las categorías superiores, que son las que mayor peso tienen, debe tenerse en cuenta que la mayor parte de las puntuaciones son superiores a tres. Hay un problema de sobreestimación de las clasificaciones en las categorías inferiores especialmente en las que el modelo pronostica como dos. Sin embargo tan sólo afecta al 7,3 % de las valoraciones.
Tabla 7
Distribución de la clasificación. Modelo M3 paso2
Se muestra a continuación, para cada combinación de categorías de las variables predictoras, el valor de las probabilidades pronosticadas por el modelo frente a las frecuencias observadas.
Tabla 8
Probabilidades estimadas por el modelo versus Frecuencias observadas
El 4,4% de los estudiantes otorgaron la puntuación mínima a la claridad expositiva y al clima creado en el aula, en estos casos la probabilidad de que la valoración global sea también mínima es del 78%.
El 10,3% dieron puntuaciones de (1,2) (2,1) (1,3) (1,4) (3,1) y (2,2), en estos casos la valoración global más probable es dos. Entre un 88% y un 98% de las valoraciones se distribuyen entre los tres primeros valores. Cuando el promedio de las puntuaciones dadas a la claridad expositiva y al clima creado en el aula está por debajo de dos, es más probable que la satisfacción global del alumno sea uno que tres, mientras que si el promedio es igual o mayor que dos la relación se invierte, la categoría tres es más probable que la uno.
El 19,4 % de los estudiantes conceden las puntuaciones (1,5) (2,3) (2,4) (3,2) (3,3) (4,1) y (4,2) a las variables explicativas; éstos valoran mayoritariamente con tres la labor del profesor. Cuanto mayor es la amplitud entre las puntuaciones mayor es la uniformidad entre las categorías que comprende; puede observarse en las combinaciones (1,5) y (4,1), en ambos casos es más probable obtener una valoración global de uno o dos que de cuatro. En el resto de las puntuaciones so observa el mismo fenómeno descrito anteriormente; existe una gran concentración de valores en las dos categorías adyacentes y la categoría dos es más probable que la cuatro en los casos en que el promedio de las dos variables es inferior a tres.
El 43,8% de las valoraciones se reparten entre las combinaciones (2,5) (3,4) (3,5) (4,3) (4,4) (4,5) (5,1) (5,2) y (5,3), la valoración que acumula la máxima probabilidad en estos casos es cuatro. De nuevo podemos observar cómo la mayor parte de las valoraciones se concentran entre tres y cinco y que la categoría tres es más probable que la cinco en los casos en que el promedio de las dos variables es inferior a cuatro.
El 22,1% restante puntúa (5,4) y (5,5) las dos variables explicativas. En este caso la máxima probabilidad la tiene la máxima puntuación, un 48,7% en el caso de (5,4), prácticamente igual que la categoría 4, y un 82,3% en el caso de (5,5). En ambos casos las probabilidades de puntuación inferiores a cuatro son inferiores al 5%.
Hemos visto que en el 34,5% de los casos los estudiantes valoran globalmente la labor del profesorado en un punto más o menos que el valor pronosticado por el modelo. Tratamos de determinar qué decanta a un alumno hacia las categorías superiores o inferiores. Generamos una variable que indica el sentido de la clasificación con tres valores (-,= , +) para indicar si la satisfacción es inferior, igual o superior a la pronosticada. Analizamos para cada variable la asociación entre la categoría de respuesta y el sentido de la clasificación. Se muestran los valores de los residuos tipificados de la prueba de independencia de la chi cuadrado de Pearson. Ya se ha verificado que la asociación entre todas las variables y la satisfacción es positiva, lo que nos interesa es identificar las asociaciones más fuertes entre categorías iguales o adyacentes, es decir, cuando una puntuación en una variable que difiera en menos de un punto con la satisfacción pronosticada decanta al alumno hacia las valoraciones superiores o inferiores. Se presta especial atención a las tres variables candidatas a ser introducidas en el modelo, además de otras dos variables que muestran las asociaciones más altas en algunas de las categorías.
Tabla 9
Residuos tipificados del test Chi cuadrado de Pearson
Así, encontramos que en todas las variables las valoraciones de la satisfacción inferiores o superiores a las pronosticadas por el modelo se corresponden con concentraciones de datos más altas de lo esperado en las correspondientes categorías, inferiores o superiores a la esperada, de las cinco variables consideradas.
El análisis de estas concentraciones de datos nos da la pauta de que otras puntuaciones no contempladas en el modelo inciden en las desviaciones observadas. Así, el esfuerzo del profesor por enseñar aparece como una variable muy sensible, en el sentido de que concentraciones de datos superiores a las esperadas según el modelo, en categorías adyacentes a la pronosticada se corresponden con las desviaciones al alza o a la baja. La consideración por parte del profesor de las dificultades del estudiante actúa del mismo modo excepto cuando se pronostica una satisfacción global de 4. En este caso la mayor concentración de datos cuando la categoría esperada es de tres o menos se produce en el valor 2 de la variable.
Las tres variables de la dimensión que hace referencia a la organización y planificación de la asignatura: el ajuste de las explicaciones a los contenidos del programa, la explicación del programa al inicio del curso académico y la información relativa a los criterios de evaluación calificación, requiere que las diferencias respecto a la categoría esperada sea mayores para que se registren desviaciones respecto a la pronosticada.
El estudio está en sintonía con las dimensiones que más frecuentemente aparecen en la literatura en relación con los aspectos más determinantes de la satisfacción de los estudiantes con la docencia. Las variables con mayor poder explicativo en el modelo seleccionado, “El profesor explica con claridad” y “La comunicación profesor/estudiante es fluida creando un clima de confianza”, se insertan en la dimensión metodología docente. Ratificando la tesis de Guevara & Stewart (2011), la percepción de las habilidades del docente y su actitud en el aula son los aspectos más relevantes en cuanto a la satisfacción del alumnado.
Los niveles de asociación entre las variables explicativas introducidas en el modelo y la satisfacción global son muy similares a los que presentan otras variables, como las relativas al ritmo de las clases o la percepción del esfuerzo del profesor por atraer el interés del alumno hacia la materia impartida. De modo que es fácil encontrar modelos explicativos con otras variables que proporcionen ajustes similares. Interpretamos estas diferentes implementaciones de los modelos en el sentido de la multidimensionalidad de la actividad docente percibida por los estudiantes (Marsh, 1987; Benton & Cashin, 2012).
Por otra parte, no encontramos grandes diferencias en cuanto a la capacidad explicativa del modelo, en función de las tres diferentes formas estudiadas de introducir las variables. Por tanto optamos por la consideración del modelo más sencillo.
El ajuste del modelo es muy razonable, especialmente en las categorías más frecuentes, la mayor parte de las desviaciones se sitúa en la categorías adyacentes a las pronosticadas por el modelo. Del análisis de residuos se infieren las causas de las desviaciones en términos de las puntuaciones otorgadas a variables que no se consideran en el modelo. Así, encontramos que podemos relacionar las diferencias entre las puntuaciones concedidas a variables relativas a la metodología docente que no aparecen en el modelo, con las desviaciones entre las categorías pronosticadas por el modelo y las esperadas. Para que esta relación se manifieste en las preguntas referentes a la planificación de la asignatura es necesario que las diferencias de puntuación sean mayores.
Abrami, P. C. (1985). Dimensions of effective college instruction. Review of Higher Education, 8(3), 211-228.
Abrami, P. C., & d'Apollonia, S. (1991). Multidimensional students' evaluations of teaching effectiveness: Generalizability of 'N =1' research: Comment on marsh (1991). Journal of Educational Psychology, 83(3), 411.
Abrami, P. C., & D'Apollonia, S. (1990). The dimensionality of ratings and their use in personnel decisions. New Directions for Teaching and Learning, 1990(43), 97-111. doi:10.1002/tl.37219904309
Algozzine, B., Beattie, J., Bray, M., Flowers, C., Gretes, J., Howley, L., Mohanty, G. & Spooner, F. (2004). Student evaluation of college teaching. College Teaching, 52(4), 134.
Apodaca, P., & Grad, H. (2005). The dimensionality of student ratings of teaching: Integration of uni- and multidimensional models. Studies in Higher Education, 30(6), 723-748. doi:10.1080/03075070500340101
Balam, E. M., & Shannon, D. M. (2010). Student ratings of college teaching: A comparison of faculty and their students. Assessment & Evaluation in Higher Education, 35(2), 209-211.
Barth, M. M. (2008). Deciphering student evaluations of teaching: A factor analysis approach. Journal of Education for Business, 84(1), 40-46.
Bedggood, R. E., & Donovan, J. D. (2012). University performance evaluations: What are we really measuring? Studies in Higher Education, 37(7), 825-842. doi:10.1080/03075079.2010.549221
Benton, S., & Cashin, W. (2012). Student ratings of teaching: A summary of research and literature. IDEA paper no. 50. Manhattan, KS: The IDEA Center, Inc.
Broder, J. M., & Dorfman, J. H. (1994). Determinants of teaching quality: What's important to students? Research in Higher Education, 35(2), 235-249. doi:10.1007/BF02496703
Cashin, W. E. (2003). Evaluating college and university teaching: Reflections of A practitioner. In J. C. Smart (Ed.), Higher education: Handbook of theory and research (pp. 531-593). Dordrecht: Springer Netherlands. doi:10.1007/978-94-010-0137-3_10"
Chen, Y., & Hoshower, L. B. (2003). Student evaluation of teaching effectiveness: An assessment of student perception and motivation. Assessment & Evaluation in Higher Education, 28(1), 71-88. doi:http://dx.doi.org/10.1037/0003-066X.52.11.1187
Cheung, D. (1997). Weighting the dimensions of student ratings of teaching effectiveness. Educational Research Journal, 12(2), 205-213.
Chonko, L. B., Tanner, J. F., & Davis, R. (2002). What are they thinking? students' expectations and self-assessments. Journal of Education for Business, 77(5), 271-281.
Cohen, E. (2005). Student evaluations of course and teacher: Factor analysis and SSA approaches. Assessment & Evaluation in Higher Education, 30(2), 123-136. doi:10.1080/0260293042000264235
Cohen, P. A. (1981). Student ratings of instruction and student achievement: A meta-analysis of multisection validity studies. Review of Educational Research, 51(3), 281-309. doi:10.3102/00346543051003281
Craig, T. A. (1995). Student satisfaction measurement (SSM) in ontario universities as perceived by student services leaders and others. College Student Journal, 29, 430.
Darwin, S. (2017). What contemporary work are student ratings actually doing in higher education? Studies in Educational Evaluation, 54(Supplement C), 13-21doi:https://doi.org/10.1016/j.stueduc.2016.08.002
Denson, N., Loveday, T., & Dalton, H. (2010). Student evaluation of courses: What predicts satisfaction? Higher Education Research & Development, 29(4), 339.
Elliott, K. M., & Shin, D. (2002). Student satisfaction: An alternative approach to assessing this important concept. Journal of Higher Education Policy & Management, 24(2), 197-209. doi:10.1080/1360080022000013518
Feldman, K. A. (1976). The superior college teacher from the students' view. Research in Higher Education, 5(3), 243-288. doi:10.1007/BF00991967"
Feldman, K. A. (1988). Effective college teaching from the students' and faculty's view: Matched or mismatched priorities? Research in Higher Education, 28(4), 291-329. doi:10.1007/BF01006402"
Feldman, K. A. (2007). Identifying exemplary teachers and teaching: Evidence from student Ratings1. In R. P. Perry, & J. C. Smart (Eds.), The scholarship of teaching and learning in higher education: An evidence-based perspective (pp. 93-143). Dordrecht: Springer Netherlands. doi:10.1007/1-4020-5742-3_5"
Finaly-Neumann, E. (1994). Course work characteristics and students' satisfaction with instruction. Journal of Instructional Psychology, 21, 14-24. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&db=eue&AN=508510551&site=ehost-live
Galbraith, C. S., Merrill, G. B., & Kline, D. M. (2012). Are student evaluations of teaching effectiveness valid for measuring student learning outcomes in business related classes? A neural network and bayesian analyses. Research in Higher Education, 53(3), 353-374. doi:10.1007/s11162-011-9229-0
García García, D., González López, I., & Corpas Reina, M. del Carmen. (2004). Elaboración de un sistema de indicadores de evaluación de la calidad docente del profesorado universitario. Res Novae Cordubenses, 2, 13-38. doi:http://hdl.handle.net/10396/4910
Ginns, P., Prosser, M., & Barrie, S. (2007). Students' perceptions of teaching quality in higher education: The perspective of currently enrolled students. Studies in Higher Education, 32(5), 603.
Griffin, B. W. (2001). Instructor reputation and student ratings of instruction. Contemporary Educational Psychology, 26(4), 534-552. doi:https://doi.org/10.1006/ceps.2000.1075
Guevara, C., & Stewart, S. (2011). Do student evaluations match alumni expectations? Managerial Finance, 37(7), 610-623. doi:10.1108/03074351111140252
Harnash-Glezer, M., & Meyer, J. (1991). Dimensions of satisfaction with collegiate education. Assessment & Evaluation in Higher Education, 16(2), 95.
Harrison, P. D., Douglas, D. K., & Burdsal, C. A. (2004). The relative merits of different types of overall evaluations of teaching effectiveness. Research in Higher Education, 45(3), 311.
Harrison, P. D., Ryan, J. M., & Moore, P. S. (1996). College students' self-insight and common implicit theories in ratings of teaching effectiveness. Journal of Educational Psychology, 88, 775.
Hills, S. B., Naegle, N., & Bartkus, K. R. (2009). How important are items on a student evaluation? A study of item salience. Journal of Education for Business, 84(5), 297.
Johnson, R. (2000). The authority of the student evaluation questionnaire. Teaching in Higher Education, 5(4), 419-434. doi:10.1080/13562510050196006
Kulik, J. A. (2001). Student ratings: Validity, utility, and controversy. New Directions for Institutional Research, 2001(109), 9-25.
Marsh, H. W. (1991). A multidimensional perspective on students' evaluations of teaching effectiveness: Reply to abrami and D'apollonia (1991). Journal of Educational Psychology, 83(3), 416.
Marsh, H. W., & Roche, L. A. (1993). The use of students' evaluations and an individually structured intervention to enhance university teaching effectiveness. American Educational Research Journal, 30, 217.
Marsh, H. W., & Roche, L. A. (1997). Making students' evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist, 52(11), 1187-1197. doi:http://dx.doi.org/10.1037/0003-066X.52.11.1187
Marsh, H. W. (1982). SEEQ: A reliable, valid, and useful instrument for collecting students' evaluations of university teaching. British Journal of Educational Psychology, 52(1), 77-95. doi:10.1111/j.2044-8279.1982.tb02505.x
Marsh, H. W. (1987). Students' evaluations of university teaching: Research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11(3), 253-388. doi:https://doi.org/10.1016/0883-0355(87)90001-2
Medel, R. & Asún, R. (2014). Surveys on teacher evaluation and gender biases: an exploratory study. Calidad En La Educación, (40), 171-199. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&db=eue&AN=97446516&site=ehost-live
Molero López-Barajas, D., & Ruiz Carrascosa, J. (2005). La evaluación de la docencia universitaria. dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57-84.
Ory, J. C., & Ryan, K. (2001). How do student ratings measure up to a new validity framework? New Directions for Institutional Research, 2001(109), 27-44.
Özgüngör, S. (2010). Identifying dimensions of students' ratings that best predict students' self efficacy, course value and satisfaction. Eurasian Journal of Educational Research (EJER), (38), 146.
Penny, A. R. (2003). Changing the agenda for research into students' views about university teaching: Four shortcomings of SRT research. Teaching in Higher Education, 8(3), 399-411.
Pozo Muñoz, C., Bretones Nieto, B., Martos, M. J., & Alonso Morillejo, E. (2011). Evaluación de la actividad docente en el espacio europeo de educación superior: Un estudio comparativo de indicadores de calidad en universidades europeas. (spanish). Revista Española de Pedagogía, (248), 145-163. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&db=eue&AN=58835029&site=ehost-live
Pozo-Muñoz, C., Rebolloso-Pacheco, E., & Fernandez-Ramirez, B. (2000). The 'ideal teacher'. implications for student evaluation of teacher effectiveness. Assessment & Evaluation in Higher Education, 25(3), 253-263.
Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The course experience questionnaire. Studies in Higher Education, 16(2), 129-150. doi:10.1080/03075079112331382944
Richardson, J. T. E., Slater, J. B., & Wilson, J. (2007). The national student survey: Development, findings and implications. Studies in Higher Education, 32(5), 557-580. doi:10.1080/03075070701573757
Richardson, J. T. E. (2005). Instruments for obtaining student feedback: A review of the literature. Assessment & Evaluation in Higher Education, 30(4), 387-415. doi:10.1080/02602930500099193
Ryan, J. M., & Harrison, P. D. (1995). The relationship between individual instructional characteristics and the overall assessment of teaching effectiveness across different instructional contexts. Research in Higher Education, 36(5), 577-594. doi:10.1007/BF02208832"
Santos, F. Frango, I., & Lechugo, C. P. (2017). Análise da percepção dos alunos sobre as práticas docentes por meio da mineração de dados educacionais. Revista Espacios, 38(5), 9. Recuperado de:http://www.revistaespacios.com/a17v38n05/17380509.html
Senior, B. A. (2000). Student teaching evaluations: Options and concerns. Journal of Construction Education, 5(1), 20-29.
Smith, R. A., & Cranton, P. A. (1992). Students' perceptions of teaching skills and overall effectiveness across instructional settings. Research in Higher Education, 33(6), 747-764. doi:10.1007/BF00992056"
Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the validity of student evaluation of teaching the state of the art. Review of Educational Research, 83(4), 598-642. doi:https://doi.org/10.3102/0034654313496870
Spooren, P. 1., Mortelmans, D. 1., & Denekens, J. 1. (2007). Student evaluation of teaching quality in higher education: Development of an instrument based on 10 likert-scales. Assessment & Evaluation in Higher Education, 32(6), 667-679. doi:10.1080/02602930601117191
Sproule, R. (2000). Student evaluation of teaching: A methodological critique of Conventional practices. Education Policy Analysis Archives, 8(50), 1-23. doi:10.14507/epaa.v8n50.2000
Wachtel, H. K. (1998). Student evaluation of college teaching effectiveness: A brief review. Assessment & Evaluation in Higher Education, 23(2), 191-2012.
Wilson, K. L., Lizzio, A., & Ramsden, P. (1997). The development, validation and application of the course experience questionnaire. Studies in Higher Education, 22(1), 33-53. doi:10.1080/03075079712331381121
Young, S., & Shaw, D. G. (1999). Profiles of effective college and university teachers. Journal of Higher Education, 70(6), 670-686. doi:10.2307/2649170
Zabaleta, F. (2007). The use and misuse of student evaluations of teaching. Teaching in Higher Education, 12(1), 55-76. doi:10.1080/13562510601102131
1. Profesor Titular de Universidad. Departamento de Economía Financiera, Contabilidad e Idioma Moderno. Director del Centro Universitario de Estudios Sociales y Aplicados (CUESA). Universidad Rey Juan Carlos (Madrid, España). E-mail: santiago.leguey@urjc.es
2. Profesor Contratado Doctor. Departamento de Economía Financiera, Contabilidad e Idioma Moderno. Universidad Rey Juan Carlos (Madrid, España). E-mail: sonsoles.leguey@urjc.es
3. Profesor Asociado. Departamento de Economía Financiera, Contabilidad e Idioma Moderno. Universidad Rey Juan Carlos (Madrid, España). E-mail: luis.matosas@urjc.es