La evaluacin como recurso imprescindible para lograr la calidad Aunque el trmino de calidad es polismico, manifiestamente elstico y acomodaticio (Escudero,

2003), lo cierto es que, como quiera que se le defina, siempre va a guardar una relacin intrnseca con la evaluacin (Santos). Resulta difcil decir algo acerca de la calidad de un proceso o producto si no se evala. Por su parte, toda evaluacin siempre se hace con base en un modelo que sirve como patrn o estndar de comparacin, a partir del cual se determina el mrito o valor del objeto evaluado. El estndar indica lo bueno que debera ser. Son las personas las que han de definir el estndar, a veces, el evaluador es quien establece el estndar. A menudo ocurre que personas diferentes tienen estndares tambin distintos. La evaluacin podra ser una actividad bastante simple si contramos con estndares sobre los que todos estuviramos de acuerdo. Fijar estndares es pues una labor sumamente difcil (Stake). A su vez, para que la evaluacin tenga valor debe ser de calidad, es decir, no vale cualquier tipo de evaluacin, sta debe poseer un valor en s misma. Esto que parece una verdad de perogrullo, no lo es tanto, porque en la prctica vemos como muchas veces el afn se pone en hacer muchas evaluaciones como si este hecho por s solo bastara para conseguir la calidad de la educacin. No se trata de evaluar constantemente porque si las evaluaciones son pobres o apcrifas no slo no harn ninguna contribucin a la calidad, sino que pueden resultar contraproducentes porque pueden vacunar a los participantes contra la evaluacin o provocar que sta caiga en el desprestigio. Sin embargo, a pesar de las crticas que se le puedan formular, lo cierto es que se ha conseguido que la evaluacin forme parte de la vida cotidiana de las instituciones educativas y sea reconocida por los diferentes actores aunque se le asignan sentidos diversos, lo cual no es un logro menor. La evaluacin no se puede abolir pero si se puede reformar La evaluacin es una prctica que lleg para quedarse. Nunca ms podremos volver a la poca anterior cuando en las instituciones educativas las cosas se dejaban casi al libre albedro de los encargados de su funcionamiento, quienes discrecionalmente manejaban y distribuan los recursos prcticamente sin ningn tipo de control o supervisin. De la mano de la evaluacin ha llegado el accountability o la rendicin de cuentas, tal exigencia resulta admisible cuando se reconoce que el sistema estatal de educacin opera con fondos pblicos, por tanto, el manejo del dinero debe hacerse con absoluta transparencia. En una sociedad democrtica es un imperativo informar oportunamente a los ciudadanos en qu se gasta el dinero de sus impuestos y, adems, que los responsables de administrar tales recursos lo hagan de forma eficiente y eficaz. En este nuevo escenario, la improvisacin y el azar ahora son vistos como taras que frenan e impiden el buen funcionamiento de los centros escolares. En su lugar, se est edificando una cultura de la evaluacin, campo que contina representando el Taln de Aquiles del sistema educativo mexicano. Habra que admitir que este cambio, an incipiente, se est emprendiendo con errores y tropiezos, quiz se sea el precio a pagar cuando se quiere perfilar un sistema educativo en el que la evaluacin ocupe un lugar destacado.

As las cosas, si la evaluacin no la podemos eliminar de nuestras vidas, no nos queda ms remedio que aprender a convivir con ella y sacarle el mximo provecho posible. Pero para que esto ocurra hay que hacer buenas evaluaciones (no muchas, las necesarias) lo cual exige reformar en algunos casos ser necesario reemplazar o desechar las existentes por otras ms razonables- las evaluaciones que hacemos actualmente, porque tal como las hemos estado diseando y aplicando, lo cierto es que estamos lejos de emplear la evaluacin como un medio para la mejora de las escuelas. La evaluacin entendida como un proceso formativo Desde que Scriven (1967) en la dcada de los sesenta estableci la distincin entre evaluacin formativa y sumativa, en el discurso se han enfatizado las bondades de la evaluacin formativa, aunque en la prctica sta ha permanecido a la sombra de la sumativa, cuya hegemona en nuestro sistema educativo sigue siendo notoria. La evaluacin es buena slo si sirve para enriquecer plenamente a las personas que en ella intervienen (Hopkins) y para desarrollar los programas e instituciones evaluadas; si produce confianza y deseos para continuar aprendiendo a lo largo de la vida. Una de las funciones pedaggicas ms importantes es aquella que se emplea para que los evaluados identifiquen y reconozcan las fortalezas de su aprendizaje y lo que an les falta por lograr. Para ello, la informacin que genera la evaluacin debe ser oportuna y clara, comprensible para los evaluados. Tambin debe servir para que el docente analice y reflexione acerca de su prctica, debe brindarle datos para tomar decisiones informadas que le posibiliten reorientar el proceso de enseanza-aprendizaje, en caso necesario. Como bien ha sealado Bolvar: La evaluacin, se debe dirigir a juzgar el valor tanto de los aprendizajes alcanzados, como a los procesos que los han desarrollado. Referida al alumno la evaluacin deba servir como instrumento para indicar en qu dimensiones se debe incidir ms prioritariamente en el proceso de enseanza y aprendizaje, orientar acerca del modo ms adecuado para reforzar los aspectos a tener en cuenta, y detectar los progresos alcanzados. La evaluacin in strictu sensu siempre ser formativa, lo que significa que toda experiencia de evaluacin debe educar a quienes participan de ella (lvarez). Este tipo de evaluacin se caracteriza por ser continua y estar integrada de manera natural en el proceso de enseanza-aprendizaje mientras ste ocurre, no debe ser vista como un agregado al final del proceso (Gimeno; Moreno). En este artculo defendemos la necesidad de poner la evaluacin al servicio del alumno, pero esta idea, debemos admitirlo, tiene poco de novedosa. No es una idea nueva que la evaluacin pueda ayudar al aprendizaje del alumno. Desde que existe la escuela los pedagogos se rebelan contra las notas y quieren poner la evaluacin al servicio del alumno, ms que al del sistema. No se terminan de redescubrir esas evidencias y cada generacin cree que ya nada ser como antes. Lo que no impide a la siguiente proseguir el mismo camino y conocer las mismas desilusiones (Perrenoud). La evaluacin como fuente de motivacin para aprender Una de las funciones pedaggicas ms importantes de la evaluacin es la motivacin que puede producir en los participantes. La investigacin ms reciente ha revelado que lo que hace ms efectivo el aprendizaje, es que los alumnos se involucren activamente

en el proceso de evaluacin (Stiggins). Las formas en las cuales la evaluacin puede afectar la motivacin y la autoestima de los alumnos, as como los beneficios que implica comprometerlos en la autoevaluacin, sugieren que ambos merecen una cuidadosa atencin. Los alumnos slo pueden evaluarse a s mismos cuando tienen una imagen suficientemente clara de las metas que estn aprendiendo. Y muchos alumnos carecen de tal imagen. Si a los educandos se les dan solamente notas o calificaciones, ellos no se beneficiarn de la retroalimentacin de su trabajo. En este tenor se menciona que cuando a los estudiantes se les da una nota final en una tarea junto con comentarios formativos, es altamente probable que ellos atiendan slo la nota y no tomen en serio los comentarios (Butler; citado por Moreno). La mayora de nosotros hemos crecido en aulas en las cuales nuestros profesores crean que la forma de potenciar el aprendizaje era maximizar la ansiedad, y la evaluacin siempre tena que ser el intimidador ms grande. A causa de sus propias experiencias exitosas en ascender a posiciones de liderazgo y autoridad, la mayora de los polticos y lderes escolares aprendieron que el camino para el xito cuando se enfrentan con un fuerte desafo- es redoblar sus esfuerzos. Es decir, ellos consideran que la forma de provocar que los alumnos aprendan ms es enfrentarlos con un reto ms difcil. Esto provocar que dupliquen sus esfuerzos, con lo que aprendern ms, sus puntuaciones en las pruebas subirn y las escuelas sern ms efectivas. Segn esta ptica, se piensa que se puede motivar a los alumnos para un esfuerzo mayor, estableciendo estndares acadmicos ms altos, subiendo el listn e implementando ms pruebas de alto impacto (high-stakes tests). ste es el fundamento de la creencia en el poder de las pruebas estandarizadas orientadas hacia la rendicin de cuentas para la mejora de la escuela. De hecho, cuando algunos alumnos son enfrentados con un desafo ms difcil mediante pruebas de alto impacto, lo que ellos hacen es doblar sus esfuerzos, y aprenden ms de lo que podran haber aprendido sin el incentivo adicional. Pero hay que hacer notar, sin embargo, que esto es cierto slo para algunos alumnos. Otro amplio segmento de la poblacin escolar, cuando es enfrentado con un reto todava ms difcil que el primero en el que ya ha fracasado, no redoblar sus esfuerzos un punto que la mayora de la gente olvida. Estos alumnos vern los altos estndares y las demandas por puntuaciones ms altas en las pruebas como inalcanzables, y caern en la desesperanza. Por lo tanto, es irracional construir nuestros ambientes de evaluacin sobre el supuesto de que las pruebas estandarizadas tendrn el mismo efecto en todos los alumnos. Esto no suceder. Algunos alumnos encaran las pruebas con un historial personal acadmico fuerte y una expectativa de xito. Algunos alumnos vienen a dar muerte al dragn, mientras que otros esperan ser devorados por l (Stiggins). Como resultado, la evaluacin de alto impacto fortalecer el aprendizaje de algunos mientras desmotivar a otros y causar en ellos desesperanza. Evaluacin del aprendizaje y para el aprendizaje Hay otra forma en la que la evaluacin puede contribuir al desarrollo de escuelas efectivas que ha sido en gran parte ignorada en la evolucin de los estndares, la

evaluacin y el movimiento de la rendicin de cuentas. Nosotros tambin podemos usar la evaluacin para aprender, trmino acuado por el Grupo de Reforma de la Evaluacin (Assessment Reform Group, 1999). Si las evaluaciones del aprendizaje proveen evidencia del logro para informes pblicos, las evaluaciones para el aprendizaje sirven para ayudar a los estudiantes a aprender ms. La distincin crucial est entre una evaluacin para determinar el estatus del aprendizaje y una evaluacin para promover un aprendizaje mayor. Tanto las evaluaciones del aprendizaje como para el aprendizaje son importantes. Aunque actualmente tenemos muchas evaluaciones del aprendizaje disponibles, si queremos balancear las dos, debemos hacer una inversin mucho ms fuerte en la evaluacin para el aprendizaje. Se pueden obtener beneficios sin precedentes en el logro si convertimos el actual proceso diario de evaluacin en el aula en un instrumento ms poderoso para el aprendizaje. Para ello, es necesario proveer a los profesores con las herramientas de evaluacin que necesitan para hacer mejor su trabajo. Lo anterior es intentar equiparar la idea de evaluacin para el aprendizaje con un trmino comn entre nosotros: evaluacin formativa. Pero no son lo mismo. La evaluacin para el aprendizaje es algo que va ms all de las pruebas frecuentes y no provee a los profesores de evidencia, de modo que ellos puedan revisar la enseanza, aunque esos pasos son parte de esto. Adems, la evaluacin para el aprendizaje debe incluir a los estudiantes en el proceso. Cuando los profesores evalan para el aprendizaje, usan el proceso de evaluacin en el aula y el continuo flujo de informacin acerca del logro del alumno que esto provee, a fin de obtener ventajas, no slo de verificar el aprendizaje del alumno. En resumen, el efecto de la evaluacin para el aprendizaje consiste en que los alumnos se mantengan aprendiendo y permanezcan confiados en que ellos pueden continuar aprendiendo productivamente. En otras palabras, que no caigan en la frustracin ni en la desesperanza. Si se quiere conectar a la evaluacin con la mejora de la escuela en formas significativas, debemos ver a la evaluacin a travs de nuevos ojos. Nuestros actuales sistemas de evaluacin son dainos para un gran nmero de alumnos y ese dao surge, entre otras causas, de nuestro fracaso para balancear el uso de las pruebas estandarizadas y las evaluaciones de aula al servicio de la mejora escolar. Hoy en da sabemos cmo construir sanos ambientes de evaluacin que puedan satisfacer las necesidades de informacin de todos los que toman decisiones de enseanza, ayudar a los alumnos a que quieran aprender y se sientan capaces de aprender y as apoyar un incremento significativo en sus logros de aprendizaje. Pero para lograr esta meta debemos establecer mecanismos que hagan posible una evaluacin sana, lo cual requerir que empecemos por ver a la evaluacin de un modo distinto. El bienestar de nuestros alumnos depende de nuestra buena voluntad para hacerlo as. Si deseamos maximizar el logro de los educandos, debemos poner una mayor atencin a la mejora de la evaluacin de aula (Stiggins, 2002).

Autor Tiburcio Moreno Olivos Doctor en Pedagoga por la Universidad de Murcia (Espaa). Profesor Investigador de Tiempo Completo Titular C. Universidad Autnoma del Estado de Hidalgo. Instituto de Ciencias Sociales y Humanidades. Acadmica de Ciencias de la Educacin. Coordinador de la lnea de investigacin: Currculum, Innovacin Pedaggica y Formacin. Miembro del Sistema Nacional de Investigadores Nivel 1 y del COMIE. Entre sus publicaciones ms recientes se encuentran el libro. La Evaluacin de los Alumnos en la Universidad: Un estudio etnogrfico. (2010).Universidad Autnoma del Estado de Hidalgo. La evaluacin como instrumento y como objeto de estudio, ha cobrado gran importancia, y en estos prrafos se tratar los aspectos positivos Es necesaria la Evaluacin? Podemos mejorarla? Puede servir para lograr mejoras? Ayuda a aprender? La evaluacin como recurso imprescindible para lograr la calidad Aunque el trmino de calidad es polismico, manifiestamente elstico y acomodaticio (Escudero, 2003), lo cierto es que, como quiera que se le defina, siempre va a guardar una relacin intrnseca con la evaluacin (Santos). Resulta difcil decir algo acerca de la calidad de un proceso o producto si no se evala. Por su parte, toda evaluacin siempre se hace con base en un modelo que sirve como patrn o estndar de comparacin, a partir del cual se determina el mrito o valor del objeto evaluado. El estndar indica lo bueno que debera ser. Son las personas las que han de definir el estndar, a veces, el evaluador es quien establece el estndar. A menudo ocurre que personas diferentes tienen estndares tambin distintos. La evaluacin podra ser una actividad bastante simple si contramos con estndares sobre los que todos estuviramos de acuerdo. Fijar estndares es pues una labor sumamente difcil (Stake). A su vez, para que la evaluacin tenga valor debe ser de calidad, es decir, no vale cualquier tipo de evaluacin, sta debe poseer un valor en s misma. Esto que parece una verdad de perogrullo, no lo es tanto, porque en la prctica vemos como muchas veces el afn se pone en hacer muchas evaluaciones como si este hecho por s solo bastara para conseguir la calidad de la educacin. No se trata de evaluar constantemente porque si las evaluaciones son pobres o apcrifas no slo no harn ninguna contribucin a la calidad, sino que pueden resultar contraproducentes porque pueden vacunar a los participantes contra la evaluacin o provocar que sta caiga en el desprestigio. Sin embargo, a pesar de las crticas que se le puedan formular, lo cierto es que se ha conseguido que la evaluacin forme parte de la vida cotidiana de las instituciones educativas y sea reconocida por los diferentes actores aunque se le asignan sentidos diversos, lo cual no es un logro menor. La evaluacin no se puede abolir pero si se puede reformar

La evaluacin es una prctica que lleg para quedarse. Nunca ms podremos volver a la poca anterior cuando en las instituciones educativas las cosas se dejaban casi al libre albedro de los encargados de su funcionamiento, quienes discrecionalmente manejaban y distribuan los recursos prcticamente sin ningn tipo de control o supervisin. De la mano de la evaluacin ha llegado el accountability o la rendicin de cuentas, tal exigencia resulta admisible cuando se reconoce que el sistema estatal de educacin opera con fondos pblicos, por tanto, el manejo del dinero debe hacerse con absoluta transparencia. En una sociedad democrtica es un imperativo informar oportunamente a los ciudadanos en qu se gasta el dinero de sus impuestos y, adems, que los responsables de administrar tales recursos lo hagan de forma eficiente y eficaz. En este nuevo escenario, la improvisacin y el azar ahora son vistos como taras que frenan e impiden el buen funcionamiento de los centros escolares. En su lugar, se est edificando una cultura de la evaluacin, campo que contina representando el Taln de Aquiles del sistema educativo mexicano. Habra que admitir que este cambio, an incipiente, se est emprendiendo con errores y tropiezos, quiz se sea el precio a pagar cuando se quiere perfilar un sistema educativo en el que la evaluacin ocupe un lugar destacado. As las cosas, si la evaluacin no la podemos eliminar de nuestras vidas, no nos queda ms remedio que aprender a convivir con ella y sacarle el mximo provecho posible. Pero para que esto ocurra hay que hacer buenas evaluaciones (no muchas, las necesarias) lo cual exige reformar en algunos casos ser necesario reemplazar o desechar las existentes por otras ms razonables- las evaluaciones que hacemos actualmente, porque tal como las hemos estado diseando y aplicando, lo cierto es que estamos lejos de emplear la evaluacin como un medio para la mejora de las escuelas. La evaluacin entendida como un proceso formativo Desde que Scriven (1967) en la dcada de los sesenta estableci la distincin entre evaluacin formativa y sumativa, en el discurso se han enfatizado las bondades de la evaluacin formativa, aunque en la prctica sta ha permanecido a la sombra de la sumativa, cuya hegemona en nuestro sistema educativo sigue siendo notoria. La evaluacin es buena slo si sirve para enriquecer plenamente a las personas que en ella intervienen (Hopkins) y para desarrollar los programas e instituciones evaluadas; si produce confianza y deseos para continuar aprendiendo a lo largo de la vida. Una de las funciones pedaggicas ms importantes es aquella que se emplea para que los evaluados identifiquen y reconozcan las fortalezas de su aprendizaje y lo que an les falta por lograr. Para ello, la informacin que genera la evaluacin debe ser oportuna y clara, comprensible para los evaluados. Tambin debe servir para que el docente analice y reflexione acerca de su prctica, debe brindarle datos para tomar decisiones informadas que le posibiliten reorientar el proceso de enseanza-aprendizaje, en caso necesario. Como bien ha sealado Bolvar: La evaluacin, se debe dirigir a juzgar el valor tanto de los aprendizajes alcanzados, como a los procesos que los han desarrollado. Referida al alumno la evaluacin deba servir como instrumento para indicar en qu dimensiones se debe incidir ms prioritariamente en el proceso de enseanza y aprendizaje, orientar acerca del modo ms adecuado para reforzar los aspectos a tener en cuenta, y detectar los progresos alcanzados.

La evaluacin in strictu sensu siempre ser formativa, lo que significa que toda experiencia de evaluacin debe educar a quienes participan de ella (lvarez). Este tipo de evaluacin se caracteriza por ser continua y estar integrada de manera natural en el proceso de enseanza-aprendizaje mientras ste ocurre, no debe ser vista como un agregado al final del proceso (Gimeno; Moreno). En este artculo defendemos la necesidad de poner la evaluacin al servicio del alumno, pero esta idea, debemos admitirlo, tiene poco de novedosa. No es una idea nueva que la evaluacin pueda ayudar al aprendizaje del alumno. Desde que existe la escuela los pedagogos se rebelan contra las notas y quieren poner la evaluacin al servicio del alumno, ms que al del sistema. No se terminan de redescubrir esas evidencias y cada generacin cree que ya nada ser como antes. Lo que no impide a la siguiente proseguir el mismo camino y conocer las mismas desilusiones (Perrenoud). La evaluacin como fuente de motivacin para aprender Una de las funciones pedaggicas ms importantes de la evaluacin es la motivacin que puede producir en los participantes. La investigacin ms reciente ha revelado que lo que hace ms efectivo el aprendizaje, es que los alumnos se involucren activamente en el proceso de evaluacin (Stiggins). Las formas en las cuales la evaluacin puede afectar la motivacin y la autoestima de los alumnos, as como los beneficios que implica comprometerlos en la autoevaluacin, sugieren que ambos merecen una cuidadosa atencin. Los alumnos slo pueden evaluarse a s mismos cuando tienen una imagen suficientemente clara de las metas que estn aprendiendo. Y muchos alumnos carecen de tal imagen. Si a los educandos se les dan solamente notas o calificaciones, ellos no se beneficiarn de la retroalimentacin de su trabajo. En este tenor se menciona que cuando a los estudiantes se les da una nota final en una tarea junto con comentarios formativos, es altamente probable que ellos atiendan slo la nota y no tomen en serio los comentarios (Butler; citado por Moreno). La mayora de nosotros hemos crecido en aulas en las cuales nuestros profesores crean que la forma de potenciar el aprendizaje era maximizar la ansiedad, y la evaluacin siempre tena que ser el intimidador ms grande. A causa de sus propias experiencias exitosas en ascender a posiciones de liderazgo y autoridad, la mayora de los polticos y lderes escolares aprendieron que el camino para el xito cuando se enfrentan con un fuerte desafo- es redoblar sus esfuerzos. Es decir, ellos consideran que la forma de provocar que los alumnos aprendan ms es enfrentarlos con un reto ms difcil. Esto provocar que dupliquen sus esfuerzos, con lo que aprendern ms, sus puntuaciones en las pruebas subirn y las escuelas sern ms efectivas. Segn esta ptica, se piensa que se puede motivar a los alumnos para un esfuerzo mayor, estableciendo estndares acadmicos ms altos, subiendo el listn e implementando ms pruebas de alto impacto (high-stakes tests). ste es el fundamento de la creencia en el poder de las pruebas estandarizadas orientadas hacia la rendicin de cuentas para la mejora de la escuela. De hecho, cuando algunos alumnos son enfrentados con un desafo ms difcil mediante

pruebas de alto impacto, lo que ellos hacen es doblar sus esfuerzos, y aprenden ms de lo que podran haber aprendido sin el incentivo adicional. Pero hay que hacer notar, sin embargo, que esto es cierto slo para algunos alumnos. Otro amplio segmento de la poblacin escolar, cuando es enfrentado con un reto todava ms difcil que el primero en el que ya ha fracasado, no redoblar sus esfuerzos un punto que la mayora de la gente olvida. Estos alumnos vern los altos estndares y las demandas por puntuaciones ms altas en las pruebas como inalcanzables, y caern en la desesperanza. Por lo tanto, es irracional construir nuestros ambientes de evaluacin sobre el supuesto de que las pruebas estandarizadas tendrn el mismo efecto en todos los alumnos. Esto no suceder. Algunos alumnos encaran las pruebas con un historial personal acadmico fuerte y una expectativa de xito. Algunos alumnos vienen a dar muerte al dragn, mientras que otros esperan ser devorados por l (Stiggins). Como resultado, la evaluacin de alto impacto fortalecer el aprendizaje de algunos mientras desmotivar a otros y causar en ellos desesperanza. Evaluacin del aprendizaje y para el aprendizaje Hay otra forma en la que la evaluacin puede contribuir al desarrollo de escuelas efectivas que ha sido en gran parte ignorada en la evolucin de los estndares, la evaluacin y el movimiento de la rendicin de cuentas. Nosotros tambin podemos usar la evaluacin para aprender, trmino acuado por el Grupo de Reforma de la Evaluacin (Assessment Reform Group, 1999). Si las evaluaciones del aprendizaje proveen evidencia del logro para informes pblicos, las evaluaciones para el aprendizaje sirven para ayudar a los estudiantes a aprender ms. La distincin crucial est entre una evaluacin para determinar el estatus del aprendizaje y una evaluacin para promover un aprendizaje mayor. Tanto las evaluaciones del aprendizaje como para el aprendizaje son importantes. Aunque actualmente tenemos muchas evaluaciones del aprendizaje disponibles, si queremos balancear las dos, debemos hacer una inversin mucho ms fuerte en la evaluacin para el aprendizaje. Se pueden obtener beneficios sin precedentes en el logro si convertimos el actual proceso diario de evaluacin en el aula en un instrumento ms poderoso para el aprendizaje. Para ello, es necesario proveer a los profesores con las herramientas de evaluacin que necesitan para hacer mejor su trabajo. Lo anterior es intentar equiparar la idea de evaluacin para el aprendizaje con un trmino comn entre nosotros: evaluacin formativa. Pero no son lo mismo. La evaluacin para el aprendizaje es algo que va ms all de las pruebas frecuentes y no provee a los profesores de evidencia, de modo que ellos puedan revisar la enseanza, aunque esos pasos son parte de esto. Adems, la evaluacin para el aprendizaje debe incluir a los estudiantes en el proceso. Cuando los profesores evalan para el aprendizaje, usan el proceso de evaluacin en el aula y el continuo flujo de informacin acerca del logro del alumno que esto provee, a fin de obtener ventajas, no slo de verificar el aprendizaje del alumno.

En resumen, el efecto de la evaluacin para el aprendizaje consiste en que los alumnos se mantengan aprendiendo y permanezcan confiados en que ellos pueden continuar aprendiendo productivamente. En otras palabras, que no caigan en la frustracin ni en la desesperanza. Si se quiere conectar a la evaluacin con la mejora de la escuela en formas significativas, debemos ver a la evaluacin a travs de nuevos ojos. Nuestros actuales sistemas de evaluacin son dainos para un gran nmero de alumnos y ese dao surge, entre otras causas, de nuestro fracaso para balancear el uso de las pruebas estandarizadas y las evaluaciones de aula al servicio de la mejora escolar. Hoy en da sabemos cmo construir sanos ambientes de evaluacin que puedan satisfacer las necesidades de informacin de todos los que toman decisiones de enseanza, ayudar a los alumnos a que quieran aprender y se sientan capaces de aprender y as apoyar un incremento significativo en sus logros de aprendizaje. Pero para lograr esta meta debemos establecer mecanismos que hagan posible una evaluacin sana, lo cual requerir que empecemos por ver a la evaluacin de un modo distinto. El bienestar de nuestros alumnos depende de nuestra buena voluntad para hacerlo as. Si deseamos maximizar el logro de los educandos, debemos poner una mayor atencin a la mejora de la evaluacin de aula (Stiggins, 2002).

Autor Tiburcio Moreno Olivos Doctor en Pedagoga por la Universidad de Murcia (Espaa). Profesor Investigador de Tiempo Completo Titular C. Universidad Autnoma del Estado de Hidalgo. Instituto de Ciencias Sociales y Humanidades. Acadmica de Ciencias de la Educacin. Coordinador de la lnea de investigacin: Currculum, Innovacin Pedaggica y Formacin. Miembro del Sistema Nacional de Investigadores Nivel 1 y del COMIE. Entre sus publicaciones ms recientes se encuentran el libro. La Evaluacin de los Alumnos en la Universidad: Un estudio etnogrfico. (2010).Universidad Autnoma del Estado de Hidalgo. Publicaciones recomendadas La calidad requiere liderazgo El aprendizaje cooperativo Perversiones audiovisuales Publicado por Alberto Christin en 02:35 0 comentarios Enviar por correo electrnicoEscribe un blogCompartir con TwitterCompartir con Facebook Etiquetas: bueno, calidad, evaluaciones, mejora

jueves, 3 de mayo de 2012

Lo malo de las evaluaciones educativas
Nadie duda que las evaluaciones en Educacin han logrado una gran importancia, pero Atena o profundiza las

desigualdades? Responden a necesidades pedaggicas o administrativas? Promueven cambios para mejorar? En los siguientes prrafos se reflexiona sobre el tema.

Una evaluacin que profundiza la desigualdad Las tradicionales prcticas de evaluacin suelen favorecer a los vencedores de antao en un sistema educativo inequitativo, al tiempo que hunden en el pozo del desnimo a los perdedores, a quienes seguramente les costar trabajo encontrar buenas razones y no tendrn la motivacin suficiente para querer mejorar la situacin en la que se encuentran, toda vez que la evaluacin se ha encargado de confirmar pblicamente su fracaso. Se olvida que el punto de partida es distinto, por ende, no se puede esperar que el punto de llegada sea el mismo. No hay una evaluacin diferenciada ni ajustada a realidades tan distintas. El descuido en la difusin de los resultados de la evaluacin del aprendizaje, desde luego, mina la confianza y la moral de las escuelas, daa la autoestima de los alumnos y sus profesores, con lo que se discrimina a los grupos desfavorecidos y se perpetan las diferencias entre escuelas e individuos. Entonces, de qu equidad se est hablando cuando en el Programa Sectorial de Educacin 2007-2012 se alude a la equidad como un reto pendiente del sistema educativo mexicano? Cmo garantizar el carcter formativo de la evaluacin una vez que se hacen pblicos los resultados? Evaluacin que refuerza una cultura de fiscalizacin Una dimensin negativa de la evaluacin es cuando se emplea con fines de control de los alumnos. Este es un rasgo muy comn en nuestro sistema en el que la evaluacin tradicionalmente ha sido empleada con un carcter punitivo. A partir de los resultados de la evaluacin, se establece un ranking y segn la posicin que se obtenga en dicha clasificacin, se reparten premios y castigos a los individuos evaluados. Desde esta postura se concibe a la evaluacin como un mecanismo de control a distintos

niveles: de los profesores sobre los alumnos, del centro educativo sobre los profesores y alumnos, y de los administradores y diseadores del currculo sobre el sistema, o sea, sobre todos y cada uno de los anteriores (Fernndez). Este tipo de evaluacin tiene como eje central al alumnado, sobre el cual recae no slo el peso de sus propias evaluaciones (reducidas a calificaciones) en las diferentes asignaturas acadmicas, sino que incluso los profesores, las escuelas y el sistema educativo en general, se valoran, ya sea directa o indirectamente, por ese parmetro llamado ndice de xito o fracaso escolar, entendido como las puntuaciones obtenidas en los exmenes por parte de los alumnos. Evaluacin que prioriza sus funciones administrativas Es comn que el profesorado emplee la evaluacin en el aula para la seleccin, la clasificacin, o bien para la certificacin de los alumnos; si bien stas son algunas de las funciones sociales de la evaluacin, al enfatizarlas inevitablemente se descuidan sus funciones pedaggicas: formativa, retroalimentadora, motivadora. Al hacer esto, se desdibuja el carcter formativo que la evaluacin debe tener para lograr aprendizajes significativos. Las prcticas de evaluacin en nuestro medio presentan como principales limitantes las siguientes: a) fomentan un significativo individualismo al estimular la competencia entre los alumnos para la obtencin de ciertas recompensas; b) criterios de evaluacin poco claros; c) informes de evaluacin deficientes; d) la evaluacin en manos de personal improvisado, lo que pone en duda su formacin, capacidad y objetividad en la tarea; e) evaluacin al servicio de satisfacer las necesidades de informacin del sistema burocrtico-administrativo, antes que de los alumnos y los profesores; f) prcticas que refuerzan el esquema del garrote y la zanahoria, toda vez que a partir de sus resultados se reparten premios y castigos a los evaluados; g) evaluacin que modela el tipo de alumno al que se debe aspirar si se quiere tener acceso a los beneficios que promete, entre otros. Mucha evaluacin pero sin cambios Una idea errnea, bastante generalizada por cierto, consiste en pensar que por el simple hecho de hacer muchas evaluaciones, automticamente los alumnos van a mejorar su actuacin, coadyuvando de este modo a elevar su rendimiento acadmico. Falso. Como dicen los escoceses: por mucho que se pese al puerco no pesar ms, quizs pese menos de tanto llevarlo y traerlo por la bscula. La evaluacin por s misma no mejora la educacin, aunque bien entendida y bien practicada, s que puede convertirse en una poderosa herramienta que contribuya a la mejora de la educacin. Santos Guerra, con la lucidez que lo caracteriza, menciona en uno de sus textos que la escuela es el lugar donde ms se evala pero donde menos se cambia", con lo cual hace una crtica a este afn desmedido y hasta esquizofrnico por evaluarlo todo. Para contextualizar el caso mexicano, A. Daz Barriga afirma que: La evaluacin se ha convertido en un acto compulsivo en el sistema educativo, casi podramos afirmar que se evala para evaluar, se evala para mostrar indicadores; las prcticas y los procesos educativos sencillamente no son contemplados en la tarea de

evaluacin. Estos rasgos le dan una identidad a la evaluacin que se realiza en el medio nacional, que la diferencia de la que se hace en otras partes del mundo. Insistimos en la idea de que no se trata de hacer muchas evaluaciones, ni siquiera de hacerlas bien desde un punto de vista tcnico, sino de tener claro el para qu de las evaluaciones que hacemos y qu valores son los que se estn promoviendo. En el caso de la evaluacin del aprendizaje, el profesorado tendra que preguntarse al servicio de quin est la evaluacin que practica, quin espera que se beneficie de esas evaluaciones, en definitiva, dnde est puesto su compromiso profesional. En el 2009 se aplicaron en todo el pas 15 millones de ejemplares de la prueba ENLACE, que por vez primera incluy al bachillerato, cunto dinero nos cost a los ciudadanos esta evaluacin?, el gasto econmico se compensa con los beneficios que representa para la educacin la aplicacin de esta prueba?; stas son preguntas que quedan en el aire, para las que no tenemos respuesta. Lo que s tenemos claro es que una evaluacin de tal envergadura, si no se traduce en cambios que mejoren la educacin pblica del pas, es un ejercicio intil y desafortunado que representa un derroche de recursos que ningn pas en estos tiempos de crisis econmica puede permitirse, menos un pas como el nuestro, histricamente lacerado por una grosera desigualdad social, con ms de 50 millones de pobres. Implementacin de programas educativos que despus no se evalan La literatura especializada menciona que cuando se elabora un programa o proyecto educativo, su diseo debe incluir un dispositivo de evaluacin, de modo que se pueda conocer su eficacia y valorar sus resultados. Bueno, pues esto que se sabe desde hace tiempo, en nuestro medio muchas veces simplemente se ignora; as hemos sido testigos de cmo surgen iniciativas referidas a la evaluacin del aprendizaje para las que se destina una suma considerable de recursos sin que posteriormente se evalen sus resultados. Por ejemplo, tenemos ms de 15 aos haciendo evaluaciones a travs del Centro Nacional de Evaluacin para la Educacin Superior (CENEVAL) sin que exista una metaevaluacin de estas prcticas, es decir, una evaluacin de la evaluacin para conocer los resultados de tantas evaluaciones. Autor Tiburcio Moreno Olivos Doctor en Pedagoga por la Universidad de Murcia (Espaa). Profesor Investigador de Tiempo Completo Titular C. Universidad Autnoma del Estado de Hidalgo. Instituto de Ciencias Sociales y Humanidades. Acadmica de Ciencias de la Educacin. Coordinador de la lnea de investigacin: Currculum, Innovacin Pedaggica y Formacin. Miembro del Sistema Nacional de Investigadores Nivel 1 y del COMIE. Entre sus publicaciones ms recientes se encuentran el libro. La Evaluacin de los Alumnos en la Universidad: Un estudio etnogrfico. (2010).Universidad Autnoma del Estado de Hidalgo. Publicaciones recomendadas La calidad requiere liderazgo El aprendizaje cooperativo Perversiones audiovisuales

Publicado por Alberto Christin en 11:24 0 comentarios Enviar por correo electrnicoEscribe un blogCompartir con TwitterCompartir con Facebook Etiquetas: desigualdad, fiscalizacin, inexperiencia, malo

mircoles, 25 de abril de 2012

Pautas ticas en la evaluacin y cdigos para maestros
La evaluacin condensa en si misma todos los dilemas de la Educacin. Podemos enfocarla desde diversos planos, en este artculo se trata la tica, tema que merece ser discutivo, cuando de Evaluacin Educativa se trata.

En cada profesin se elabora una tica especfica que es revisada y puesta al da peridicamente. En nuestro momento histrico las distintas ticas profesionales han de respetar y apoyar el marco tico de la tica cvica, verdadero soporte moral de la convivencia en sociedades pluralistas, y desde ah han de aportar sus propios valores correspondientes a la profesin de que se trate (Martnez, 2006). El pensar cuidadosamente acerca de cmo las personas han de tratar a otros se incluye en declaraciones de tica que guan la prctica profesional tanto en medicina, como en leyes o enseanza. En educacin, por ejemplo, la National Educational Association (1975) describi la tica del maestro en el aula. Strike y Bull (1981) analizaron problemas de justicia y legalidad en la evaluacin del maestro y presentaron los Derechos de Bill. Strike (1990) discuti la tica de evaluacin educativa e incluy problemas de igualdad de respeto, proceso conveniente, privacidad, humanismo, igualdad, beneficios del cliente, libertad acadmica y respeto por la autonoma como valores necesarios para el tratamiento tico. Sparks describi y defendi un cdigo de tica personal en desarrollo y afirm que un cdigo de tica articula y afirma los valores ms altos, creencias, y propsitos de una profesin.

El Joint Committee on Standards for Educational Evaluation (1988) requiri pautas para la evaluacin del personal de acuerdo con los cdigos ticos. El propsito de un cdigo o declaraciones de tica es dar una direccin sucinta, clara a la conducta del maestro. Las Normas de Evaluacin del Personal (Joint Committee, 1988:21) incluyen las Normas de conveniencia que requiere que las evaluaciones sean legalmente conducidas, con tica y con debida consideracin por el bienestar del evaluado. Estas normas incluyen una orientacin de servicio, previsiones de conflicto de intereses, acceso a los datos e informes, y las interacciones cuidadosas con los evaluados. Aunque las siguientes normas se refieren a la coevaluacin entre profesores, la mayora de ellas bien pueden aplicarse para la evaluacin de los alumnos (Peterson, Kelly y Caskey, 2002). Actividades ticas en la evaluacin, significa lo que los profesores HACEN: Conocen las obligaciones, esfuerzos, intereses y necesidades de aprendizaje, actividades en el aula y otras expectativas del profesor. Manejan la informacin, los datos y procedimientos de forma confidencial, a menos que requieran ser pblicos. Usan informacin, datos y descripciones de las actividades slo para los propsitos requeridos. Controlan cuidadosamente notas y reportes personales y destruyen informacin personal especfica despus de haberse utilizado. Proporcionan atencin independientemente de consideraciones de raza, color, creencia, genero, preferencia sexual, nacionalidad, estado civil, creencias polticas y religiosas. Analizan, revelan y resuelven conflictos de intereses. Cumplen con las pautas y la funcin de evaluador, acordadas. Participan en la evaluacin de su propia evaluacin. Siguiendo con Peterson, Kelly y Caskey (2002), ellos plantean que la actividad tica en la evaluacin, significa que los profesores limitan su comportamiento, NO USANDO las actividades de la evaluacin para: Impulsar intereses propios, estatus social o poltico; grupos particulares de profesores a costa de otros; ciertos estilos, estrategias, o materiales en la instruccin; ciertas clases de organizaciones en el aula o en la escuela; su propia evaluacin debido al acceso privilegiado; relacionarse con los evaluados directamente o relacionarse con otros involucrados en las evaluaciones docentes. Perjudicar o tratar desfavorablemente a otros participantes del sistema educativo (estudiantes, administradores, padres, otros profesores) como resultado de la actividad evaluadora. Limitar los juicios de la calidad de los profesores a su propio estilo, logro, e historia; preferir los valores comunes acordados por el sistema. Incluir la informacin o las perspectivas de experiencias personales o las comunicaciones con otros que pudieran influir indebidamente en los juicios o las actividades de la evaluacin. Realizar deliberadamente declaraciones falsas o malvolas.

Aceptar gratificaciones, regalos o favores que puedan perjudicar o influir aparentemente en los juicios o actividades de evaluacin. Actividades ticas en la evaluacin, significa que los profesores PUEDEN: Usar ideas de otros profesores, aprender actividades y de sus propias prcticas. Ser compensados por su participacin en actividades de evaluacin. Sin embargo, la literatura recomienda no ceirse slo a un cdigo tico sino a mltiples cdigos, tomando en cuenta que las circunstancias varan. Confrontamos cdigos entre s no para que podamos racionalizar todo lo que hacemos, sino para que seamos capaces de reconocer diferentes manifestaciones de valor tico y podamos deliberar mejor sobre las implicaciones de cada una de ellas. Como en toda buena deliberacin, se necesitan las aportaciones de diferentes puntos de vista. Pero, al final, el descubrimiento y la resolucin del conflicto tico provienen principalmente de nuestro propio fuero interno (Stake). Aunque existe una literatura especializada en evaluacin que contiene cdigos, normas y principios, no deberamos recurrir exclusivamente a los enunciados formales, ya que siempre habr situaciones en las que su traslado a la realidad resulte difcil o insuficiente. La diversidad y la particularidad de las cuestiones prcticas aseguran una limitada utilidad a los cdigos ticos. En Estados Unidos, el National Council of Teachers of Mathematics (Consejo Nacional de Profesores de Matemticas) (1989) dio un buen ejemplo de cmo tratar los estndares ms como visiones o proyectos que como niveles de corte. Los estndares forman parte de una visin panormica de la tica, pero siempre es necesaria la interpretacin personal y situacional (Stake). En este artculo hemos revisado como desde la perspectiva tcnica se busca obsesivamente evaluar con bases cientficas para garantizar el rigor de los mtodos racionalmente planificados que permiten la discriminacin por va matemtica; pero tambin hemos sealado como preocupaciones sustantivas desde perspectivas ticas, el surgimiento de preguntas que expresan el inters por conocer al servicio de quin est la evaluacin, qu fines persigue, y qu usos se va a hacer de la informacin y de los resultados de la evaluacin. En el currculum oficial, generalmente, se deja bien asentado y claro al profesorado qu, cundo y cmo evaluar, se trata de preguntas tcnicas que indagan sobre cuestiones comunes de alcance burocrtico y administrativo. Pero las cuestiones de fondo comnmente suelen estar ausentes o se soslayan. Las dimensiones ticas de la evaluacin, intrnsecas al razonamiento prctico, se relacionan directamente con preguntas de otro orden, entre las cuales se encuentran: Por qu evaluar? Para qu evaluar? Quines son los destinatarios y quines son los que se benefician de las prcticas de evaluacin? Qu uso hacemos los profesores de la evaluacin? Qu uso hacen los alumnos de la evaluacin? Para qu les sirve? Qu funciones desempea realmente? Quin utiliza los resultados de la evaluacin, ms all de la inmediatez del aula? Asegura el sistema de evaluacin vigente la calidad del aprendizaje y la calidad de la enseanza? Asegura tambin la evaluacin justa y objetiva de los alumnos?

Extrado de Consideraciones ticas en la evaluacin educativa Revista REICE 2011 Volumen 9 Nmero 2 Autor Tiburcio Moreno Olivos Doctor en Pedagoga por la Universidad de Murcia (Espaa). Profesor Investigador de Tiempo Completo Titular C. Universidad Autnoma del Estado de Hidalgo. Instituto de Ciencias Sociales y Humanidades. Acadmica de Ciencias de la Educacin. Coordinador de la lnea de investigacin: Currculum, Innovacin Pedaggica y Formacin. Miembro del Sistema Nacional de Investigadores Nivel 1 y del COMIE. Entre sus publicaciones ms recientes se encuentran el libro. La Evaluacin de los Alumnos en la Universidad: Un estudio etnogrfico. (2010).Universidad Autnoma del Estado de Hidalgo. Publicaciones recomendadas La calidad requiere liderazgo El aprendizaje cooperativo Perversiones audiovisuales Publicado por Alberto Christin en 02:26 0 comentarios Enviar por correo electrnicoEscribe un blogCompartir con TwitterCompartir con Facebook Etiquetas: cdigos, evaluacion, maestros, tica

martes, 17 de abril de 2012

Lo feo de las Evaluaciones en Educacin
Las siguientes son reflexiones sobre lo feo en las Evaluaciones Educativas. Las evaluaciones cobran importancia en este entorno, pero Estn acordes con la diversidad? Se utilizan los resultados adecuadamente? Qu efectos producen? Estamos preparados para implementarla?

Homogeneidad que niega la diversidad La historia de la educacin en nuestro pas est plagada de ejemplos de prcticas escolares estandarizadas que cierran la puerta a la diversidad, la cual, pese a todo, lucha por sobrevivir y ocupar su lugar en la escuela. La diversidad siempre al margen, marginada. Sin embargo, hay que reconocer que las ltimas reformas educativas introducen, al menos en el discurso, la necesidad de atender la diversidad y de hacer adaptaciones curriculares que consideren las necesidades e intereses de los alumnos que pertenecen a esta categora. Aunque una gran mayora del profesorado no entienda qu es esto de hacer adaptaciones curriculares, ni tenga la sensibilidad para aceptar y reconocer la diversidad en el aula como un valor agregado y no como un pesado lastre que le demanda ms trabajo. La evaluacin es un claro ejemplo de esta poltica que homogeniza realidades tan dismbolas. Las pruebas nacionales estandarizadas que se aplican actualmente, por su propia naturaleza y diseo, no pueden reconocer la diversidad de las poblaciones escolares a las que se les suministran, aunque la informacin que brindan y las decisiones que se toman a partir de estos datos, s que estn afectando de manera significativa la actuacin de los centros escolares, y la vida presente y futura de los sujetos evaluados. Usos segados de los resultados de la evaluacin cuando se usan Una prctica comn es que los resultados de la evaluacin del aprendizaje no se empleen para un fin determinado, con lo cual parece que la evaluacin slo se hace para cumplir con una exigencia administrativa, y una vez realizada sta, la informacin se guarda en el cajn sin que pase nada. Un ejemplo de ello son las evaluaciones diagnsticas que se realizan en algunas instituciones de educacin superior al inicio de cada ciclo escolar. El ritual se sigue indefectiblemente en cada curso escolar, sin que la informacin que la evaluacin aporta tenga un uso que permita introducir cambios tendientes a la mejora de la educacin. As, la evaluacin se desgasta y pierde ante los ojos de los evaluados cualquier posibilidad de ser considerada como un mecanismo para el cambio positivo. Y no slo eso, en este escenario la evaluacin es vista como un ejercicio inane que consume tiempo y energa, con lo cual su credibilidad si es que alguna vez la lleg a tener es puesta en duda. Habra que ser ms cautos cuando se dan a conocer los resultados y, sobre todo, ser muy vigilantes del uso que distintos agentes hacen de los resultados de las evaluaciones. Tambin es frecuente el empleo de los resultados de la evaluacin para justificar ciertas polticas o programas que responden a los intereses particulares de un individuo o grupo, el cual tiene el poder para patrocinar una evaluacin que sirva a sus propsitos, cualesquiera que stos sean. Evaluacin que fomenta la cultura de la simulacin La evaluacin se ha empleado para guardar las apariencias y decir que todo marcha bien, sobre todo en tiempos aciagos en los que se sabe precisamente que las cosas no

andan bien. A nivel micro lo que se pretende es ocultar las debilidades, vacos o carencias para salir bien librado del juicio evaluador. Este tipo de conductas se promueven sobre todo en sistemas educativos en los que pesa una tradicin de la evaluacin como un medio de fiscalizacin o de control para repartir recompensas y sanciones. Situados en el contexto del aula, vemos cmo los alumnos ante una situacin de evaluacin emplean estrategias diversas para aparentar que han aprendido los contenidos que marca el programa educativo, aunque para ello tengan que hacer trampa o mentir, lo ms importante es salir airosos de la evaluacin. Las excusas injustificadas suelen ser frecuentes el da del examen, cualquier pretexto que pueda persuadir al maestro y le garantice al alumno un buen resultado. El fin justifica los medios, no importa si los medios empleados son ticos o lcitos. Pero lo anterior no slo ocurre con los alumnos, tambin los docentes han desarrollado sus estrategias simuladoras, por ejemplo, sabemos de maestros que piden a sus alumnos con bajo rendimiento que no asistan a clases el da que se va a aplicar a su grupo el examen de conocimientos, cuyos resultados se tomarn en cuenta como parte de la evaluacin docente, slo para evitar una mala evaluacin. Nuevamente, el fin es lo ms importante a costa de lo que sea. Evaluacin conducida por personal improvisado La evaluacin en Mxico ha estado permeada por una visin empirista que descansa en el principio: Todos sabemos de evaluacin, porque alguna vez hemos sido evaluados. De acuerdo con Nevo, para ser un evaluador competente y fiable se necesita la combinacin de una amplia gama de cualidades y caractersticas, entre las cuales destacan: a) competencia tcnica en el rea de la medida y la investigacin, b) conocimiento del contexto social y de la naturaleza del objeto de la evaluacin, c) destreza en relaciones humanas, d) integridad personal y objetividad, y e) caractersticas relacionadas con la autoridad y la responsabilidad. Segn este mismo autor existen varios tipos de evaluadores: Evaluador interno: generalmente es contratado por los responsables del proyecto y les informa directamente. Evaluador externo: no est contratado directamente por los responsables del proyecto y goza de mayor independencia. Evaluador profesional: tiene una amplia formacin en evaluacin y su principal responsabilidad consiste en dirigir evaluaciones. Evaluador prctico: no suele estar especializado en evaluacin y su implicacin en la misma representa slo una parte de su trabajo.

Lo que ocurre en nuestro medio es que una buena parte de los docentes de educacin superior no suele tener formacin o carece de experiencia en el vasto y complejo campo de la evaluacin del aprendizaje, lo que genera que en la prctica se ignore el gran cmulo de conocimiento existente y se cometan muchos errores por omisin o desconocimiento. En estas coordenadas, se afirma que:

la asignacin de mltiples finalidades en las tareas de evaluacin y la falta de tradicin de las concepciones evaluadoras en el pas se manifiesta tambin en una carencia de personal especializado en esta disciplina. A ello hay que agregar que en los planes de estudio de licenciatura y posgrado del rea educativa existe una tendencia a restar importancia a una asignatura de evaluacin, o bien, una seria deficiencia en los contenidos que se trabajan (Daz Barriga). Adems del conocimiento terico-metodolgico, es menester que la persona que representa o encarna la figura del evaluador posea autoridad tica y moral, de modo que sus juicios evaluadores sean acogidos con confianza y gocen de credibilidad entre la comunidad educativa (House y Howe). De no ser as, se corre el riesgo de que, desde el inicio, todo el proceso evaluador est desacreditado. Desafortunadamente, en este terreno las cosas parecen apuntar en otra direccin: Tanto en la formacin de los docentes como en la concepcin de las metodologas y los medios de enseanza, la evaluacin y la regulacin de los procesos de aprendizaje a menudo siguen siendo los parientes pobres (Perrenoud).

Autor Tiburcio Moreno Olivos Doctor en Pedagoga por la Universidad de Murcia (Espaa). Profesor Investigador de Tiempo Completo Titular C. Universidad Autnoma del Estado de Hidalgo. Instituto de Ciencias Sociales y Humanidades. Acadmica de Ciencias de la Educacin. Coordinador de la lnea de investigacin: Currculum, Innovacin Pedaggica y Formacin. Miembro del Sistema Nacional de Investigadores Nivel 1 y del COMIE. Entre sus publicaciones ms recientes se encuentran el libro. La Evaluacin de los Alumnos en la Universidad: Un estudio etnogrfico. (2010).Universidad Autnoma del Estado de Hidalgo. Publicaciones recomendadas La calidad requiere liderazgo El aprendizaje cooperativo Perversiones audiovisuales Publicado por Alberto Christin en 02:18 0 comentarios Enviar por correo electrnicoEscribe un blogCompartir con TwitterCompartir con Facebook Etiquetas: desigualdad, diversidad, evaluacin, feo

lunes, 9 de abril de 2012

CONSTRUCCIN DE UN TEST DE EVALUACIN
Sostenemos que la evaluacin es parte del proceso educativo, no su culminacin No sera valioso tener una forma de evaluar, que no sea costosa en tiempo? Las nuevas tecnologas podran ayudarnos? Tener informacin rpida sobre la marcha de las actividades es de gran valor, para

efectuar las correcciones en forma rpida.

Evaluacin mediante test Este apartado presenta las fases de construccin de un test de evaluacin. La primera etapa es la concepcin del test, a partir de la que, dependiendo del grado de sofisticacin que se desee, podrn o no efectuarse las etapas de construccin del test de manera electrnica y construccin y calibracin del banco de tems. En todo caso, el desarrollo de la prueba de evaluacin culmina en la etapa de administracin del test, si bien cuando se ha calibrado un banco de tems conviene realizar peridicamente labores de mantenimiento en las que la calibracin on-line puede ser de gran utilidad. 1 Primera fase: Concepcin del test El primer paso de la administracin de un test consiste en crear las preguntas que se pretende incluir, tarea para la que no es necesario en principio ningn ordenador. La construccin de tems de calidad puede resultar ms complicada de lo que parec e, de ah que sea aconsejable seguir algunas sugerencias, como por ejemplo, no incluir en el enunciado palabras como siempre, ninguno o generalmente, no repetir palabras en cada posible respuesta cuando pueden escribirse una sola vez en el enunciado; evitar negaciones dobles y opciones como ninguna de las anteriores o todas las anteriores; y utilizar tres o cuatro distractores (alternativas de respuesta incorrecta) relevantes y atractivos, con la misma longitud que la respuesta

buena (Muiz, 1997). Aunque seguir estas sugerencias no garantiza el xito, al menos facilita la identificacin de tems potencialmente problemticos. Una vez construidos los tems del test es posible utilizar los mtodos tradicionales de administracin del mismo, en concreto, repartir a los alumnos un cuadernillo con las preguntas y una hoja donde inscribir las respuestas a cada una de ellas. En una situacin como sta, en la que puede hacerse caso omiso de las secciones siguientes, la posterior recogida y anlisis de datos puede ser una tarea costosa y pesada, al menos si se compara con las facilidades que ofrecen los tests administrados en soporte informtico. El siguiente apartado versar acerca de la creacin de una versin informtica de los tems desarrollados en esta fase, independientemente de si se les va a dar un uso nico en un test o si se pretende almacenarlos en un banco de tems para aprovecharlos en diferentes pruebas de evaluacin. 2 Segunda fase: Construccin del banco de tems o del test Para poder administrar mediante un ordenador el test diseado, lo primero que hay que hacer es dar a los tems un formato adecuado para ser utilizados por el soporte informti co. En determinadas situaciones (como cuando los tems desarrollados no van a reutilizarse) ser suficiente con crear el test a administrar mediante un procesador de texto; pero si los objetivos son ms ambiciosos (como cuando se quiere tomar la TRI como bas e para la construccin de tests adaptativos) es necesario implementar un banco de tems para ser utilizado en la generacin de tests. Existen en el mercado mltiples y variadas herramientas que facilitan esta labor, generando automticamente la base de dat os que almacenar el banco de tems. Aunque algunas de ellas se dedican adems a otras tareas compl ementarias, cabe destacar las aplicaciones Malted (malted.cnice.mecd.es), HotPotatoes 6.0 (www.aula21.net) y My Teacher 2.0, que facilitan la creacin de contenidos didcticos y tests de evaluacin; as como Test Constructor 2.5, Tester 2.0, TestIt 3.0 Build 110, Random Test Generator PRO 8.0, Academic Test Tool 3.0, QuizMaster 1.0, Examenes 1.2, TestGIP, Aritest Profesores 2.1, y tPilot 1.4, que permiten almacenar ejercicios con el fin de generar tests de evaluacin. Todos estos programas se pueden descargar desde la web. El formato de representacin de los tems puede ser un factor crtico en algunos contextos, de ah que antes de implementar el banco de tems sea conveniente decidir cmo se va a simbolizar. Hasta hace poco, cada sistema utilizaba sus propios formatos para representar tems y tests, tal y como ocurre con los programas recin enumerados. Sin embargo, en la actualidad existe una tendencia a usar estndares para la representacin de tems, como Question & Test Interoperability (QTI) desarrollado por la iniciativa IMS (www.imsglobal.org). Algunas herramientas como ADISTI (Lpez Cuadrado, Armendariz y Prez, 2003) y Canvas Learning (www.imsprojects.org), intuitivas y fciles de usar, almacenan automticamente los tems en una base de datos siguiendo este estndar. Otras herramientas de autor, como Macromedia Authorware 7 y Macromedia Dreamweaver MX con mdulo de educacin (www.macromedia.com), Tour Virtual de QS Author 1.6 (www.qsmedia.com), o Toolbook 8.6 (www.sumtotalsystems.com), facilitan la informatizacin de los tems,

permitiendo crear y administrar un curso entero siguiendo algn otro estndar educativo como SCORM (www.adlnet.org) o el propues to por el AICC (www.aicc.org). 3 Tercera fase: Calibracin del banco de tems Cuando se desea utilizar como marco terico la TRI, es necesario conocer los valores de los parmetros que definen la curva caracterstica de cada tem. Aunque la TRI define cuatro parmetros, en la prctica slo se utilizan los modelos de uno (dificultad), dos (dificultad y discriminacin) y tres parmetros (dificultad, discriminacin y pseudoacierto). La calibracin consiste en establecer en una mtrica comn los parmetros de cada tem del banco. Slo cuando los tems se encuentren en la misma escala se podr asegurar que cualquier subconjunto de ellos proporcionar estimaciones de habilidad invariantes e independientes de la c omposicin del test utilizado. Realizar la calibracin de un banco de tems, si bien no es excesivamente complicado, conlleva tareas largas y costosas, debidas a la gran cantidad de trabajo de campo que se requiere. Una prctica utilizada con cierta frecuencia, aunque al margen de las instrucciones que proporciona la psicometra, es hacer una estimacin de la dificultad de cada uno de los tems (en particular, al utilizar el modelo de un nico parmetro) en base a las contribuciones de expertos en la materia que se pretende evaluar. Aunque consultar a profesor es o pedagogos doctos en la materia que se pretende evaluar y pedirles que valoren los parmetros de los tems puede ser un buen comienzo, no es recomendable conformarse slo con esto, dado que por tratarse de una estimacin subjetiva, no siempre resulta fcil determinar acertadamente los valores de los parmetros, y la precisin y validez de los tests posteriormente compilados podra quedar en entredicho. Lo ms habitual y recomendable de cara a generar tests adaptativos fiables es calibrar el banco de tems mediante algn procedimiento estadstico. Por ello, la calibracin se ejecuta por lo general en cuatro pasos (Renom y Doval, 1999): primero se administran los tems a una gran muestra de sujetos, generalmente utilizando algn tipo de diseo de anclaje; tras analizar las respuest as recopiladas, se estiman estadsticamente los parmetros de los tems y las habilidades de los sujetos; despus se unifican las escalas de los diferentes subtests de anclaje para que todo el banco de tems (y los tests generados a partir de l) utilicen la misma mtrica; y por ltimo, se efectan estudios de ajuste de los datos al modelo de la TRI con el fin de identificar y retirar tems defectuosos. Los siguientes cuatro epgrafes describirn cada una de estas fases. Diseo de anclaje y administracin de los tems Los modelos matemticos de la TRI se fundamentan en variables (parmetros) latentes, difcilmente observables pero que se pueden estimar. Y en esto consiste precisamente la calibracin de un banco de tems. Se trata de administrar las preguntas a una muestra de sujetos, cuyas habilidades son en principio desconocidas, para obtener estimaciones de los parmetros de cada tem a partir de las respuestas recopiladas. Para poder asegurar que estos parmetros slo dependen del tem y no, por ejemplo, de los sujetos a los que se ha administrado, la muestra utilizada ha de ser lo suficiente mente grande y heterognea como para que las estimaciones obtenidas sean insesgadas. As, el primer paso en el proceso de calibracin consiste en

administrar cada tem a una muestra de varios cientos de personas. Llevar a cabo una administracin de semejantes caractersticas obligar probablemente a repartir los tems entre diversos subtests. Existen varias alternativas para unificar las previsiblemente diferentes mtricas obtenidas en los distintos subtests en una escala que sea comn a todo el banco de tems, pudiendo haber algunas cuestiones que contesten todos los sujetos y/ o algunos sujetos a los que se les administre todo el banco de tems(Kolen y Brennan, 1995). El objetivo en cualquier caso es disponer de una referencia comn a todas las pruebas que sirva de anclaje en la posterior fase de equiparacin de las diferentes mtricas. La opcin ms utilizada es la de los tems de anclaje, que son conjuntos de tems que dos o ms subtes ts tienen en comn. Los parmetros de estos tems comunes se estiman junto con los del resto de tems que componen cada subtest, para despus comparar los resultados obtenidos en cada caso, lo qu e facilitar la equiparacin de las estimaciones de los parmetros de los tems no comunes. Anlisis previos y estimacin de parmetros Registrados los resultados de la administracin de los tems, es recomenda ble realizar anlisis previos a la estimacin de parmetros con el fin de detectar y depurar anomalas. Renom y Doval (1999) enumeran tres frentes de accin a la hora de analizar las matrices de respuesta: filtrado de la obtencin y captura de datos a fin de evitar tratar protocolos anmalos de los examinados, anlisis convencionales de cada subtest para detectar tems incompatibles con los modelos de la TRI, y verificacin de las pautas de respuesta de los examinados. Antes de proceder con la estimacin de parmetros, tambin se suele realizar otro estudio, el del supuesto de unidimensionalidad del banco de tems. Si bien este anlisis pertenece a la etapa posterior de verificacin del ajuste al modelo de la TRI, su prctica suele adelantarse porque no requiere conocer de antemano los valores de los parmetros. Como resultado de los estudios previos a la estimacin de parmetros, puede ocurrir que alguno de los tems del banco sea retirado del mismo (por ejemplo, por no satisfacer el principio de unidimensionalidad). Una vez revisadas y depuradas las matrices de respuesta obtenidas tras la aplicacin de los subtests se est en condiciones de proceder a la estimacin de parmetros en bas e a alguno de los modelos de la TRI. Cuando se trata de tems de respuesta mltiple dicotmicos (esto es, en los que slo se distingue acierto y error), la experiencia y la intuicin indican que el modelo de tres parmetros es el ms adecuado, algo en lo que coinciden la mayora de los autores(Santisteban y Alvarado, 2001). Estimar la habilidad del examinado cuando se dispone de los parmetros de los tems puede realizarse de manera sencilla mediante la tcnica de mxima verosimilitud condicionada (tal y como ocurre en los TAI, de los que se hablar ms adelante). Lo mismo ocurre en la situacin inversa, esto es, cuando se desea obtener la curva caracterstica de un tem conocidas las habilidades de los sujetos a quienes se les ha administrado (Baker, 1992). Sin embargo, en el contexto de la calibracin del banco de tems tanto la habilidad de los sujetos a quienes se les ha administrado los subtests como los parmetros de los tems son variables desconocidas. Por ello, pese a que slo interesan las estimaciones de los parmetros de los tems, es necesaria una estimacin simultnea mediante algn mtodo alternativo. La estimacin mximo verosmil

conjunta (Birnbaum, 1968), que se suele implementar mediante un tratamiento multivariado del procedimiento de Newton -Raphson, asigna un valor inicial (por ejemplo, aleatorio) a los parmetros de los tems y, asumiendo que son los verdaderos, estima las habilidades de los sujetos, generalmente mediante el procedimiento de mxima verosimilitud condicionada. Tomando estos valores de habilidad recin calculados como reales, se procede a recalcular los parmetros de los tems (mediante el procedimiento de estimacin mximo verosmil, condicionado en este caso a los valores de habilid ad). Estas nuevas estimaciones de los parmetros se usarn a su vez para volver a estimar las habilidades de los sujetos, habilidades que permitirn obtener valores ms precisos de los parmetros de los tems. Las dos etapas del proceso se repetirn hasta obtener convergencia en los parmetros de los tems y las habilidades de los examinados. La estimacin conjunta de habilidades y parmetros plantea dos inco nvenientes: por una parte, exige la eliminacin de las puntuaciones extremas (todo aciertos o todo fallos), tanto para tems como para sujetos, y por otra, el nmero de parmetros y habilidades a estimar aumenta a medida que crece el tamao de la muestra. El mtodo de estimacin mximo verosmil marginal(Bock y Aitkin, 1981) evita estos problemas, as umiendo que la muestra de sujetos se ha seleccionado aleatoriamente de una poblacin en la que la habilidad est distribuida en base a una funcin de densidad g(), que desde un punto de vista bayesiano correspondera a la distribucin previa de probabilidades, en lugar de usar un valor para cada examinado. A diferencia de la estimacin mximo verosmil conjunta, el procedi miento de mxima verosimilitud marginal proporciona consistencia a la estimacin de los parmetros, y es independiente del tamao de la muestra. Pese a ser probablemente la tcnica ms utilizada, el mt odo de mxima verosimilitud marginal no est exento de problemas, por lo que se han definido algunas variantes y generalizaciones del mismo, habindose propuesto incluso alternativas puramente bayesianas (Hambleton y Swaminathan, 1985). Aunque se han presentado las diferentes tcnicas de esti macin conjunta de parmetros y habilidades, uno puede despreocuparse a la hora de calibrar un banco de tems, pues existen paquetes de software que las implementan, calculando en pocos segundos estimaciones de los parmetros invariantes y robustas que se ajusten a su curva caracterstica segn el modelo T RI correspondiente. Destacan LOGIST (Wingersky, 1983), que implementa la estimaciones mximo v erosmil conjunta e incondicional, y se ha convertido en el estndar de facto con el que se comparan los dems procedimientos de estimacin de parmetros; y BILOG (Mislevy y Bock, 1990), que se perfila como uno de los mejores programas al implementar la reformul acin del mtodo de mxima verosimilitud marginal de Bock y Aitkin (1981). Equiparacin de puntuaciones Administrar todo el banco de tems a cada sujeto de la muestra tiene la ventaja de que se elimina una de las fuentes ms importantes de error en la equiparacin de puntuaciones, a saber, la relativa al muestreo de los examinados. No obstante, plantea diversos problemas, dado que aplicar un elevadsimo nmero de tems a una misma persona no siempre es factible, amenaza la seguridad del banco de tems y puede deparar resultados negativos debidos a la fatiga o a la desmotivacin. Por su parte, distribuir los tems en varios subtests tiene la ventaja de que no se administra todo el

banco a cada examinado, pero, despus de haber estimado los parmetros de los tems administrados en los subtests, resulta necesario equiparar sus escalas de medida con el fin de que todo el banco utilice una mtrica comn. Slo as, una vez se dispone del banco calibrado, o lo que es lo mismo, cuando los parmetros de todos los tems estn expresados en la misma mtrica, ser posible verificar la bondad de ajuste, hecho lo cual se podr obtener la curva caracterstica y la funcin de informacin de cualquier tem o test generado a partir del banco. La equiparacin de puntuaciones es un proceso estadstico que permite ajustar las puntuaciones de diferentes tests, cuyas dificultades probablemente sern desiguales, con el fin de poder compararlas en una escala de habilidad con origen y unidad comunes. Tcnicamente, cuando se ha utilizado un diseo de anclaje para la administracin de los tems, se dir que stos estn calibrados una vez se haya efectuado la equiparacin de sus parmetros (mientras tanto, estarn simplemente estimados) mediante un reescalado lineal de los parmetros de cada subtest a una mtrica comn. Se han propuesto diferentes mtodos para obtener los valores de la pendiente y ordenada en el origen que definen el escalado para cada subtest. Entre las tcnicas de equiparacin cimentadas en la TRI que permiten expresar las puntuaciones de varios subtests que comparten un diseo de anclaje de tems, destacan los mtodos basados en los momentos (media-sigma, media -media), los mtodos basados en la curva caracterstica del test (Haebara, Stocking - Lord, 2 mnimo) y el mtodo de la calibracin concurrente. La mayor parte del software de estimacin de parmetros existente implementa alguno de estos mtodos, por lo que uno tampoco debera preocuparse por cul es el funcionamiento de cada uno de estos procedimientos. Estudios de ajuste al modelo Los modelos de la TRI fundamentan su flexibilidad en la realizacin de suposiciones muy restrictivas que no siempre se ajustan a la realidad. Por este motivo es tan importante este paso, consistente en verificar si las estimaciones recin obtenidas se ajustan al modelo elegido y si se cumplen las restricciones que impone el mismo. La ms importante es la comprobacin de unidimensionali dad, que consiste en verificar que los tems slo sirven para medir una nica habilidad. Como ya se ha adelantado, este supuesto puede estudiarse antes de la estimacin de parmetros, quedando para despus otro tipo de estudios como los de bondad de ajuste de los parmetros de los tems, los de invarianza de los parmetros, o los de simulacin del comportamiento del modelo. Como resultado de esta etapa puede ocurrir que algunos tems sean retirados del banco por no respetar los supuestos de la TRI. 4 Cuarta fase: Administracin del test Una vez se tiene construido el banco de tems o el test y, en su caso, calibrados sus tems, se plantea el momento de administrar el o los tests a los sujetos a evaluar. Para este cometido es posible utilizar un mtodo que recoja los resultados a travs de un sistema de informaci n, o una aplicacin informtica que nicamente presente los tems creados en la segunda fase de la construccin del test. Son muchos los sistemas que automatizan la administracin de tests, llegando a presentar caractersticas muy diferentes unos de otros. As, algunos programas como TestGIP, Exam Software 2.3, Aritest Profesores 2.1 y tPilot 1.4, sirven para evaluar al alumno suministrndole un test cuyos tems tienen

almacenados; otras aplicaciones, por su parte, sirven adems para mostrar algn tipo de unidad didctica o leccin previa en torno a la cual se desarrollar la evaluacin. La ventaja de estos sistemas es su sencillez en la administracin, ya que estn pensados para que profesores que no estn muy fa miliarizados con la tecnologa puedan utilizarlos con facilidad. Sirvan como ejemplo los programas Malted, HotPotatoes 6.0 y My Teacher 2.0, de los que se ha hablado antes. Un tercer tipo de programas informticos son los que, adems de lo anterior, siguen estndares como SCORM o AICC e incorporan nu evas funcionalidades educativas como la de evaluar y gu ardar los resultados para un posterior anlisis; tal es el caso de sistemas como ELSA (Armendariz, Lpez Cuadrado, Tapias, Villamae, Sanz -Lumbier y Sanz -Santamara, 2003), o las anteriormente mentadas Toolbok 8.6, Tour Virtual de QS Author 1.6 y Macromedia Dreamweaver ms el mdulo de educacin de Macromedia. Independientemente de qu categora de software se use, una vez concluido un test de evaluacin se dispone de una estimacin de la habilidad del examinado. En el marco de la TRI se trata de un valor numrico () en la escala de medida del banco de tems, algo que puede no resultar informativo para el sujeto, de ah que suela inferirse algn otro tipo de puntuacin ms significativa. Por ejemplo, este valor puede transformarse a la escala [0,10] o a la mtrica de la curva caracterstica del test utilizado, baremarse mediante el uso de centiles o porcentajes acumulados, o incluso representarse gr ficamente sobre el continuo de habilidades. 5 Quinta fase: Calibracin on -line En el contexto de los tests adaptativos fundamentados en la TRI, de los que se hablar en la siguiente seccin, cuando haya pasado algn tiempo desde que se calibrara el banco de tems, lo ms recomendable es disponer de nuevos tems para aadir, con el fin de sustituir a otros que conviene retirar por haber quedado obsoletos, estar defectuosos o haberse utilizado muy a menudo (Wainer y Mislevy, 1990). El principal problema es que es necesario calibrar estos nuevos tems en la misma mtrica que utiliza el banco. Para realizar esta equiparacin existen diversos mtodos, uno de los cu ales consiste en desarrollar un nuevo proceso de calibracin, segn se acaba de ver en apartados anteriores. Aunque esta va puede ser la ms adecuada cuando se dispone de muchos tems nuevos, lo ms habitual es que la inclusin sea progresiva y se d con pequeos conjuntos de tems, por lo que en este punto ser mejor aprovechar que se dispone del banco de tems calibrado para facilitar el trabajo de cara a estimar los parmetros de los nuevos tems (Lpez -Cuadrado, Prez et al., 2002). As, lo ms habitual es administrar a una poblacin numerosa, generalmente la misma a la que se pretende evaluar a partir del banco calibrado, un test compuesto por los tems nuevos y algunos (de anclaje) pertenecientes al banco. De este modo, el subconjunto de tems de anclaje permite establecer una conexin entre la mtrica de la nueva calibracin y la del banco. La denominada calibracin on-line simplifica an ms el proceso, y en lugar de generar tests especficos, lo que hace es aplicar al comienzo de cada test adaptativo uno o dos tems, que no influyen en la estimacin final de habilidad del sujeto. El objetivo ser construir una matriz de datos con la que despus realizar la calibracin aplicando un sistema de anclaje-equiparacin, algo que, a diferencia de lo que ocurre en la calibracin inicial del banco de tems, en este caso resulta muy sencillo porque se

dispone de las estimaciones de habilidad de los alumnos (obtenidas por los tests aplicados). En resumen, en un diseo de calibracin on-line los nuevos tems pueden administrarse linealmente junto con los tems operacionales, para posteriormente ser calibrados y equiparados segn la escala del banco actual. Casi todos los programas de evaluacin basados en la TRI incluyen la calibracin e inclusin de nuevos tems cada cierto tiempo, principalmente por motivos de seguridad. De hecho, la principal ventaja de la calibracin on-line se refiere al ahorro temporal y de recursos, pues permite mantener la seguridad de las pruebas sin necesidad de realizar continuos procesos de calibracin tan complejos como el descrito en la seccin anterior.

Extrado de EVALUACIN MEDIANTE TESTS: POR QU NO USAR EL ORDENADOR? Javier Lpez-Cuadrado, Toms A. Prez y Ana Jess Armendariz Departamento de Lenguajes y Sistemas Informticos, Universidad del Pas Vasco, Espaa Revista Iberoamericana de Educacin (ISSN: 1681-5653)