La evaluacin y acreditacin para la mejora de la calidad educativa.

Experiencia de Espaa
Juan Carlos Tjar Hurtado Universidad de Mlaga (Espaa)

El nmero de alumnos y alumnas matriculadas en 2010 ascendi a 1.412.472 estudiantes, de los que el 54% eran mujeres y el 46% restante hombres. Andaluca, la comunidad autnoma en la que est mi universidad ocupa el 2 lugar por detrs de Madrid en nmero de estudiantes con 230.717. En Espaa existe una gran tradicin de universidades pblicas. Cuando el panorama estaba dominado por una universidad pblica hegemnica (y solo unas pocas privadas), todas las directrices emanaban directamente desde el Ministerio de Educacin y, todas ellas, deban cumplirse distribuyendo los recursos de manera equitativa (el nmero de estudiantes era el principal indicador). Cuando ciertos cambios de modelo educativo se han ido imponiendo (Espacio Europeo de Educacin Superior) y el nmero de universidades privadas incrementndose, la evaluacin y la acreditacin han comenzado a cobrar sentido. En los ltimos aos el nmero de universidades privadas y de instituciones y centros superiores universitarios se ha incrementado hasta casi igualar el nmero de instituciones pblicas. Curiosamente, en lo que se refiere a instituciones y centros on line, las universidades privadas ya aventajan a las pblicas. En cualquier caso, a pesar del nmero elevado de universidades y centros superiores privados, el volumen de estudiantes lo acapara an la universidad pblica (89,5%). Si se hace un cociente entre el nmero de estudiantes total y el nmero de universidades (pblicas y privadas), se obtiene el nmero promedio de estudiantes que atienden una y otra. Las universidades y centros privados matriculan a un promedio de 2.746,5 estudiantes, mientras que las pblicas lo hacen a 22.178,3 (8 veces ms estudiantes). La explicacin es sencilla. Adems de que las universidades se han incorporado tarde al sistema universitario, lo hacen con enseanzas muy concretas (las ms rentables) y con un perfil determinado.

Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa

El sistema universitario espaol tiene un modelo de evaluacin y acreditacin nico en la actualidad, pero parte de las competencias estn transferidas a las comunidades autnomas. Para conocer el contexto institucional y poder comprender algunas de las decisiones que se han tomado en relacin a los procesos de acreditacin y evaluacin voy a hacer un repaso por algunos datos relevantes del sistema universitario espaol (INE, 2011).

La Universidad de Mlaga, de la que procedo, matricul en el curso 2010 a 35.452 estudiantes (casi un 60% ms que el promedio), por lo que se puede decir que se trata de una universidad grande. En Espaa existe una Agencia de Evaluacin de carcter nacional: la ANECA (Agencia Nacional de Evaluacin de la Calidad y Acreditacin), y un gran nmero de Agencias autonmicas correspondientes a las diversas Comunidades que componen Espaa. Por ejemplo, la AGAE en Andaluca, la ACAP en la Comunidad de Madrid y la AQU en Catalua. La ANECA que se cre como fundacin en 2002, tiene el objetivo principal de contribuir a la mejora de la calidad del Sistema de Educacin Superior. Para realizar este objetivo, la ANECA se apoya en los instrumentos de evaluacin, certificacin y acreditacin. Como unidades de anlisis la ANECA ha fijado tres: las enseanzas (ttulos de grado y posgrado), el profesorado y las instituciones.
Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa

La ANECA posee un Patronato y un Consejo Asesor. Ambas instituciones velan por la calidad de del trabajo de ANECA y la ponen en contacto con la administracin central de cara a la actualizacin necesaria de la legislacin universitaria (para facilitar la ejecucin de las polticas de evaluacin y acreditacin). El patronato (de ms alto nivel) cuenta con la presidencia de la persona titular del Ministerio de Educacin, siete personalidades de las Direcciones Generales y subdirecciones generales implicadas (Educacin, Universidades, Trabajo, Economa y Hacienda,). Adems de estos cargos polticos a nivel nacional, tienen representacin en el patronato tres miembros de los gobiernos autonmicos relacionados con el mbito de las Universidades. El patronato lo completan tres rectores, dos estudiantes y siete acadmicos expertos en diversos mbitos de conocimiento. El Consejo Asesor est formado por un nmero de miembros entre diecisis y veinte. Entre seis y diez son acadmicos, el coordinador de la Comisin Nacional de la Evaluacin de la Actividad Investigadora (CNEAI), cuatro expertos internacionales, dos acadmicos en representacin de las organizaciones sindicales y de las asociaciones profesionales, dos estudiantes (miembros del Consejo de Estudiantes) y un representante de los Consejos Sociales de las Universidades. La mejor manera de entender cmo trabaja la ANECA y cmo se materializan los procesos de evaluacin y acreditacin en Espaa es a travs de los programas que se desarrollan. La ANECA promueve siete programas de evaluacin y acreditacin para la mejora de la calidad universitaria. PEP es el Programa de Evaluacin del Profesorado para la contratacin, y evala las actividades docentes e investigadoras, y la formacin acadmica de los solicitantes para el acceso a las figuras de profesor universitario contratado (profesor contratado doctor, profesor ayudante doctor, profesor colaborador y profesor de universidad privada)

 ACADEMIA es el programa de Acreditacin nacional para el acceso a los cuerpos docentes universitarios, que evala el perfil de los solicitantes para el acceso a los cuerpos de funcionarios docentes universitarios (Profesores Titulares de Universidad y Catedrticos de Universidad). DOCENTIA es un Programa de Apoyo a la Evaluacin de la Actividad Docente del Profesorado Universitario. Tiene el objetivo de apoyar a las universidades en el diseo de mecanismos propios para gestionar la calidad de la actividad docente del profesorado universitario y favorecer su desarrollo y reconocimiento. VERIFICA es un programa que evala las propuestas de los planes de estudio de ttulos universitarios oficiales diseados en consonancia con el Espacio Europeo de Educacin Superior. MONITOR es el programa que permite realizar un seguimiento de un ttulo oficial ya verificado hasta el momento en el que deba someterse de nuevo a evaluacin para renovar su acreditacin. MENCIN es un programa que tiene por objeto establecer el procedimiento para otorgar una Mencin hacia la Excelencia que exprese el reconocimiento a la solvencia cientfico-tcnica y formadora de los programas de doctorado de las universidades espaolas, as como de los grupos de investigacin o departamentos que se ocupan de la formacin de doctores. AUDIT es un programa que trata de orientar el diseo del Sistema de Garanta Interna de Calidad (SGIC), de manera que las instituciones universitarias tengan una herramienta que permita integrar las actividades que hasta ahora haban venido desarrollando relacionadas con la garanta de calidad de las enseanzas. De lo dicho anteriormente se deduce que PEP, ACADEMIA y DOCENTIA se refieren principalmente al profesorado. VERIFICA, MONITOR y MENCIN se refieren a las enseanzas, mientras que AUDIT se refiere a la institucin universitaria (integrando como se ha indicado anteriormente todas las actividades que se hagan en relacin con la garanta de la calidad de las enseanzas). Por problemas de espacio y de tiempo slo se van a comentar tres de los programas ms representativos. Uno de cada una de las unidades destinatarias. ACADEMIA (Profesorado), VERIFICA (Enseanzas) y AUDIT (Instituciones). El programa ACADEMIA comenz en 2007 y en el 2008 ya comenz a haber profesorado acreditado segn este nuevo sistema. El proceso se resume en la siguiente figura. Tras la solicitud del candidato se inicia un proceso que incluye los informes que han de realizar dos miembros de un panel de expertos diseado para tal fin. Hay 11 paneles de expertos que atienden a las diferentes ramas del conocimiento cientfico. De un gran nmero de expertos seleccionados de cada

Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa

panel, se eligen dos al azar que han de emitir un informe exhaustivo sobre el historial acadmico, cientfico y de gestin del candidato. Los informes de los expertos llegan a la Comisin de Acreditacin (formada por un presidente y 10 vocales de la misma rama de conocimiento que el solicitante) y esta se pronuncia y comunica la decisin al solicitante.

Solicitud del candidato

Informes de expertos

2 al azar y annimos 11 paneles de expertos

Profesorado 2007-2008

Comisin de Acreditacin

11 comisiones Presidente y 10 vocales

Comunicacin de la decisin

Figura 1. Proceso del programa ACADEMIA

El programa ACADEMIA est dirigido a acreditar las figuras de profesor titular de universidad y de catedrtico de universidad (del resto de figuras se ocupa el programa PEP).

Profesor Titular
Profesorado

Catedrtico

Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa

Figura 2. Niveles (figuras) del profesorado universitario en Espaa

Tanto los expertos como la comisin de acreditacin analizan los mritos del candidato, en orden de importancia: en Investigacin, en docencia, en formacin (solo para los profesores titulares) y en gestin. En la figura siguiente aparecen los mbitos de evaluacin con los indicadores (tambin en orden de relevancia) que se utilizan para evaluar cada aspecto. Para acreditar a un profesor titular de universidad ste tiene que obtener una puntuacin mnima de 65 sobre 100. Para acreditar a un catedrtico de universidad ste tiene que obtener una puntuacin mnima de 80 sobre 100.

Investigacin
(CU 55; TU 50)

Revistas cientficas
Libros y captulos, Congresos, Proyectos, transferencia, estancias Docencia y Direccin de tesis Evaluaciones positivas, material docente Innovaciones, congresos, estancias

Docencia
(CU 35: TU 40)

Profesorado

Formacin
(CU 0; TU 5)

Becas Tesis con mencin Premios

Gestin
(CU 10; TU 5)

Cargos de gestin

CU mn.=80 TU mn.=65

Figura 3. Indicadores del programa ACADEMIA

El programa VERIFICA comenz tambin en 2007 y los primeros ttulos oficiales verificados se han puesto en marcha en el ao 2009-2010. En el curso 2010-2011 se han verificado todos los ttulos pendientes con lo que se ha conformado un nuevo catlogo de ttulos oficiales de grado y de posgrado (msteres oficiales). El procedimiento del VERIFICA es similar al ACADEMIA. La solicitud la presenta en este caso la Universidad. La comisin de evaluacin (9 comisiones de grado y 7 de msteres segn la rama de conocimiento) se apoya en una serie de expertos para validar o no las enseanzas propuestas. La Comisin de emisin de informes realiza un informe con la verificacin de las enseanzas o con los aspectos que se deben modificar de la propuesta si se quiere verificar. La comisin de evaluacin est formada por un presidente (acadmico), un secretario (ANECA), y 16 vocales (11 acadmicos, 3 profesionales y 2 estudiantes). La comisin de emisin de informes est formada por un presidente, un secretario y 5 vocales. En la siguiente figura se recogen los indicadores utilizados para la evaluacin de las enseanzas de grado y posgrado (msteres).

Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa

En la siguiente figura se recogen los criterios que han de utilizarse para la evaluacin en el programa VERIFICA.

Enseanzas

Figura 4. Indicadores del programa VERIFICA

El programa AUDIT trata de integrar todas las acciones que llevan a cabo los centros e instituciones universitarias bajo un Sistema de Garanta Interna de Calidad (SGIC), para ello comienza con un diagnstico inicial que tiene que hacer la propia institucin que ha de culminar con el diseo del SGIC. Ese diseo ha de ser evaluado de forma interna por una comisin en la que estn representados todos los sectores integrantes del centro universitario. El informe interno realizado es comprobado y analizado por una comisin externa (evaluacin externa). La comisin que realiza la evaluacin externa combina expertos profesores universitarios (con experiencia en evaluacin) con profesionales del mbito de las aplicaciones de las enseanzas que se realizan en los centros a evaluar (tambin con experiencia deseable en evaluacin). Con la sntesis del informe interno y el externo se elabora un informe final. En la siguiente figura se recogen los criterios de evaluacin que han de tenerse en cuenta en el proceso de evaluacin (interno, externo e informe final).

Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa

Instituciones

El mecanismo general de la evaluacin (tanto interna como externa) implica a tres elementos principales: las fortalezas, las debilidades y las propuestas de mejora. El anlisis comienza con una reflexin en relacin a las fortalezas de la institucin (puntos fuertes, posibilidades y oportunidades), contina con un anlisis de las debilidades (puntos dbiles, amenazas y dificultades), y culmina realizando propuestas de mejora de manera sistemtica, de manera que se facilite la comprobacin posterior de que dichas mejoras se realizan a corto o a medio plazo. A modo de conclusin se pueden citar algunos comentarios en relacin a la aplicacin de los programas comentados. Dichos programas estn extendiendo poco a poco la cultura de evaluacin tan necesaria para que las enseanzas, el profesorado y todos los procesos que se realizan en una institucin universitaria mejoren. Sin anlisis, reflexin y mejora es muy difcil avanzar en la calidad del trabajo realizado y para ello es necesario que todos los participantes y miembros de la universidad conozcan y participen de una cultura de la evaluacin y de ciertos conocimientos relacionados con la misma. Este elemento, aunque no tan rpido como sera deseable, se est cumpliendo de manera general en la universidad espaola. La lentitud con la que algunas instituciones desarrollan los programas (a veces tambin con la connivencia de las agencias evaluadoras) diluye los efectos que una informacin derivada de una evaluacin sistemtica pueda tener sobre la mejora de los procesos. Los plazos para cumplir los diferentes requerimientos de algunos de los programas (AUDIT, MONITOR, por ejemplo) se alargan en exceso.

Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa

Figura 5. Criterios de evaluacin del programa AUDIT

 Es necesaria una mayor implicacin de las universidades en los programas. Se ha de participar en todos, incluir a todas las titulaciones y centros de cada universidad y es preciso tambin que se doten de los recursos necesarios (tanto humanos como materiales), para que se facilite la labor de los evaluadores y de las comisiones previstas para cada procedimiento de evaluacin. Un problema sustantivo se produce cuando se trata de evaluar un sistema que asume un modelo diferente se enseanza-aprendizaje (ahora basado en competencias), que no es compartido y/o comprendido por buena parte de la comunidad universitaria (no solo del profesorado sino tambin del alumnado). Es preciso trabajar el modelo de competencias dotando al profesorado de los medios y la capacitacin necesaria. Los procesos de evaluacin en los que estn inmersas las universidades espaolas generan un inmenso volumen de tareas administrativas, de procesos y protocolos que dificultan el sentido por el que se realizan todo este tipo de tareas. La excesiva rigidez de algunos procedimientos y el celo en la presentacin (acreditacin) de algn documento de evidencias en relacin a todas y a cada una de tareas que se desarrollan en la universidad, pueden convertir la evaluacin democrtica de la universidad que se quiere promover en una mera evaluacin burocrtica como sealaba McDonald (1976).

Referencias McDONALD, B. (1976). Evaluation and the control of Education, en Tawney, D. (Ed.) (1976): Curriculum Evaluation today: trends and Implications. Londres: Mc Millan.

Captulo: La evaluacin y acreditacin para la mejora de la calidad educativa. Experiencia de Espaa