Questionmark White Paper

Las evaluaciones en el proceso de aprendizaje/capacitacin

Este trabajo explora como instructores y organizaciones pueden utilizar las evaluaciones para mejorar el proceso de aprendizaje. Tiene como objetivo ayudar los lectores en distinguir los diferentes tipos y estilos de evaluacin, en la comprensin de las varias herramientas para este fin y en el aprendizaje de como desarrollar evaluaciones eficaces, como analizar sus resultados y aprovechar los beneficios de las evaluaciones computarizadas. Autores: Eric Shepherd Janet Godwin

Adaptacin: Rafael Lami Dozo Con la asistencia de:Dr. Will Thalheimer, Work-Learning Research Dr. William Coscarelli, Southern Illinois University Dr. Sharon Shrock, Southern Illinois University

La manera de capacitar y el material usado en las salas de clase han cambiado mucho en los ltimos cinco aos. Mientras tanta atencin ha sido dada a la forma de presentar el contenido, es obvio que la prctica de bsqueda y recuperacin, bien como otros factores importantes, influencian el como y lo que los alumnos aprenden y aplican en sus tareas especficas. Algunas organizaciones han intentado mudar la totalidad de sus cursos a una distribucin online, sin embargo no todo el mundo es apto para trabajar de esta forma. Una parte significativa de la poblacin, principalmente los considerados Gen X o Gen Y, adoran aprender a travs de la computadora. Hasta pasan su tiempo libre delante de la computadora. Otros aprenden mejor en sesiones de entrenamiento ms tradicionales donde las personas se renen, se dividen en grupos y conversan entre s. Una gran parte de nosotros todava preferimos el contexto de sala de clase con toda la interaccin humana. Por eso es fundamental entender cmo las personas aprenden, lo que aprendieron y si este conocimiento es especficamente til para su trabajo. Es por este motivo que la base para un desarrollo exitoso del entrenamiento educacional y de los materiales de certificacin pasa por el uso eficaz de las evaluaciones. Antes, las evaluaciones consistan en simples hojas de papel en los cuales los alumnos rellenaban pequeos cuadrados, hoy las empresas e instituciones de enseanza tienen una oportunidad real de usar la tecnologa no solamente para hacer las evaluaciones ms accesibles, pero tambin para hacer el proceso de aprendizaje mucho ms eficaz. Estas organizaciones pueden usar las evaluaciones para llevar a las personas a tener experiencias de aprendizaje eficaces; reduciendo las curvas de aprendizaje; extendiendo las curvas de olvido; confirmando habilidades, conocimientos y actitudes; y motivndolas puesto que proporcionan un sentimiento de realizacin. El propsito de este trabajo es ilustrar como las organizaciones y los instructores pueden utilizar las evaluaciones para mejorar el proceso de aprendizaje y alcanzar mayores resultados. Este documento est diseado para ayudar a los lectores: En la distincin de tipos y estilos de evaluaciones En la comprensin de la credibilidad y validez En la comprensin de los beneficios de las evaluaciones computarizadas

1. Una Introduccin a las Evaluaciones Es importante definir el contexto de las evaluaciones en el proceso de aprendizaje. Existen muchos estilos de evaluaciones que no son abordadas en este documento como, para citar algunas, evaluaciones mdicas realizadas por un mdico, evaluaciones de riesgos en hospitales y evaluaciones para acreditacin de facultades y universidades. En este documento empleamos trminos genricos de evaluaciones para describir pruebas, tests, encuestas y exmenes. Estos instrumentos evalan los conocimientos, las habilidades y las actitudes de los alumnos. La siguiente tabla define estos trminos: Evaluacin Cualquier mtodo sistemtico de obtencin de evidencia desde la realizacin de preguntas para generar inferencias sobre el conocimiento, las habilidades, las actitudes y otras caractersticas de las personas para un propsito especfico. Una evaluacin de suma usada para medir los conocimientos o habilidades del alumno, con el propsito de documentar su nivel actual de conocimiento o habilidad. Una evaluacin de diagnstico para medir los conocimientos o habilidades del alumno, con el propsito de informarle a l o a los profesores sobre su nivel actual de conocimiento o habilidad. Una evaluacin formativa usada para medir los conocimientos o habilidades del alumno, con el propsito de proporcionar feedback/retroalimentacin sobre su nivel actual de conocimiento o habilidad.

Examen

Prueba

Quiz

Encuesta Una evaluacin de diagnstico o de reaccin para medir los conocimientos, las habilidades y/o actitudes de un grupo, con el propsito de determinar las necesidades requeridas para cumplir un propsito definido.

1.1 Usos de la Evaluacin Existen cinco propsitos primarios o usos de evaluaciones: Diagnstico Evaluacin creada para identificar las necesidades y los conocimientos que los participantes ya tienen, con el propsito de dirigirlos hacia una experiencia de aprendizaje ms apropiada. Evaluacin que tiene como objetivo primario probar la capacidad de memorizacin del alumno y ofrecer un feedback preceptivo (por tem, tpico y/o nivel de valuacin). Evaluacin usada para determinar el conocimiento, las habilidades y las actitudes de un grupo, permitiendo de esta manera el anlisis de las carencias y ayudar al desarrollo del curso. El anlisis de las carencias determina la diferencia entre lo que el alumno sabe y lo que debe saber. Evaluacin creada para determinar el nivel de satisfaccin en relacin a una experiencia de aprendizaje o de evaluacin. Estas evaluaciones son generalmente conocidas como evaluaciones de Nivel 1 (en la clasificacin realizada por el Dr. Donald Kirkpatrick), son evaluaciones sobre el curso o de

Formativa Necesidades

Reaccin

satisfaccin; son completadas al final de una experiencia de aprendizaje o de certificacin. De suma Evaluacin generalmente cuantitativa, cuyo objetivo primario es atribuir una nota definitiva y/o hacer un juicio sobre los conocimientos del participante. Si el resultado muestra que el participante alcanz un estndar determinado, esto seala un nivel de conocimiento especial, la certificacin le podr ser entonces conferida.

1.1.1 Evaluaciones de Diagnstico Si usted fuese al mdico y solamente dijese, Siento un dolor, y el mdico le respondiera, OH, aqu tiene una pldora, usted empezara a preocuparse. Pero lo qu el mdico hace en realidad es preguntar, Dnde le duele? Con qu frecuencia le duele? Hizo algo recientemente qu podra haber causado este dolor? Estas son preguntas que el mdico hace para poder hacer un diagnstico y prescribir una receta. Esto es exactamente lo que sucede con las evaluaciones de diagnstico. Las evaluaciones de diagnstico son normalmente usadas en evaluaciones de pre-aprendizaje, antes que la persona inicie una experiencia de aprendizaje, o en un test de clasificacin de nivel. Por ejemplo, un alumno universitario cuyo segundo idioma es el espaol puede hacer un test para descubrir si sus habilidades con el idioma son adecuadas para asistir a cursos dados en la lengua de Cervantes. El test mide el conocimiento y las habilidades actuales de la persona proporcionando un feedback que ayuda al instructor a crear un curso eficaz. Estos tipos de tests tambin despiertan el inters, aumentando as los beneficios de la experiencia de aprendizaje. Por ejemplo, si un instructor pregunta algo que el alumno no sabe contestar este puede sentir curiosidad en encontrar la respuesta. Por ende va a prestar ms atencin en clase. Las evaluaciones de diagnstico son usadas para determinar el conocimiento e identificar las necesidades y las carencias al nivel de las habilidades. Tal evaluacin puede mostrar que un alumno domina 100% Microsoft Word, pero solamente domina 50 % Excel. Los resultados de la evaluacin prescribirn un curso en Excel. Adems, este tipo de evaluacin permite enviar a los alumnos hacia experiencias de aprendizaje adecuadas, esto se puede hacer simplemente preguntndoles, Prefiere entrenamiento con instructor u online? 1.1.2 Evaluaciones Formativas Las evaluaciones formativas proporcionan feedback a los individuos y a sus formadores durante el proceso de aprendizaje mediante la prctica de bsqueda y recuperacin de informacin. Cuando las personas necesitan dar respuestas a las preguntas sobre el material estudiado, sus cerebros deben realizar una bsqueda en sus memorias y recuperar la informacin. Estos procesos de bsqueda y recuperacin ayudan a solidificar el conocimiento del alumno y a mantener aquella informacin en un estado accesible para bsquedas posteriores. Si una persona contesta incorrectamente, el instructor tendr la oportunidad de ensearle o de darle un feedback y decir, No, ests equivocado sta es la respuesta correcta o No, pero piensa en este problema de esta otra forma La prctica de bsqueda y recuperacin es siempre usada para: Tests de prctica y exmenes Auto-evaluacin del conocimiento, de las habilidades y de las actitudes en relacin los objetivos de aprendizaje. Las evaluaciones formativas ayudan a garantizar que los alumnos estn realmente aprendiendo

o alertan cuando el aprendizaje no est ocurriendo, tambin proporcionan retroalimentacin para corregir cualquier concepto errneo. Una encuesta realizada a travs de la Web revel que las personas tienden a contestar los tests primero y a usar el feedback para poder decir, Hey, me est yendo muy bien en esta materia. Voy a continuar, o Necesito estudiar ms este tema. Ellos no solamente aprendieron su nivel de conocimiento, pero tambin redujeron su curva de olvido, esto lo han hecho sin darse cuenta a travs de la prctica de bsqueda y recuperacin. Estas evaluaciones formativas son a veces usadas para colectar datos que sern agregados a las puntuaciones finales. No son un examen final, pero una serie de pequeos tests ofreciendo evidencias que el instructor pueda utilizar para tomar decisiones. 1.1.3 Evaluaciones de Necesidades Las evaluaciones de necesidades examinan los conocimientos, las habilidades y las aptitudes de un grupo, estas evaluaciones ofrecen datos que ayudarn a determinar las necesidades de la capacitacin. Son evaluaciones permitiendo reconocer y solucionar las carencias. Permiten a los gerentes de capacitacin, diseadores e instructores planificar los cursos que necesitan ser desarrollados o administrados de modo a satisfacer las necesidades de los participantes. 1.1.4 Evaluaciones de Reaccin La evaluacin de reaccin ocurre cuando evaluamos reacciones y opiniones de los alumnos sobre su aprendizaje. Generalmente se trata de hojas con preguntas del tipo "Qu le pareci el profesor?", segn el modelo de Donald Kirkpatrick son las evaluaciones de Nivel 1. En facultades y universidades se las conoce como la evaluacin de curso. Este tipo de evaluacin rene las opiniones de los alumnos al nivel de los materiales usados durante el curso, del instructor, del ambiente de aprendizaje, de la ubicacin...etc. Con esta informacin el instructor puede mejorar las futuras experiencias de aprendizaje. 1.1.5 Evaluaciones De Suma Las evaluaciones de suma son exactamente lo que parecen ser: suman los conocimientos o las habilidades de quien las conteste. Este tipo de evaluacin ofrece una nota cuantitativa y juzga los conocimientos de una persona, sus habilidades y sus logros. Pueden ser exmenes reguladores o no reguladores que proporcionan una puntuacin cuantitativa y muestran el nivel de conocimiento y habilidad de una persona. 1.2 Las Consecuencias de una Evaluacin Antes de analizar como las evaluaciones pueden ser ms efectivamente usadas en el proceso de aprendizaje, es importante comprender que las evaluaciones pueden ser clasificadas segn el nivel de importancia de la prueba y sus implicaciones. Podemos distinguir 3 tipos de consecuencias: Altas Medias Bajas

El nivel de complejidad de una evaluacin se refiere a las consecuencias para el candidato. Por ejemplo, un examen normalmente tiene consecuencias mayores, mientras que una encuesta tiene pocas o casi ninguna. En evaluaciones de bajo nivel de complejidad, tales como pruebas y encuestas, las consecuencias para el candidato son pocas y entonces las responsabilidades son menores. Tales evaluaciones son

frecuentemente contestadas a solas puesto que no hay ninguna motivacin para hacer trampa o compartir sus respuestas con otros, por lo tanto no es necesario tener ningn tipo de supervisin. Esto significa que los administradores de tests no verificaran documentos de identidad, este no sera el caso para exmenes ms complejos. Las exigencias de validez y confiabilidad para tests o encuestas son muy bajas, pero una prueba con altas consecuencias debe ser confiable y vlida. Este tipo de evaluaciones requieren ms planificacin. La regla general es que el ambiente de una prueba o de un examen debe parecerse al del trabajo; en una institucin acadmica debe parecerse al currculo. Las evaluaciones de poca complejidad requieren poca planificacin. Especialistas Del Tema (EDT) simplemente escriben las preguntas y las hacen disponibles para los alumnos. Sin embargo, una prueba de mucha complejidad requiere mucha ms planificacin, como anlisis de tareas, establecimiento de puntuacin para aprobacin/suspensin, especificacin de mtodos, consistencia de distribucin y como los resultados sern guardados y distribuidos. El anlisis de tarea muestra cuales tareas estn asociadas con el trabajo, con que frecuencia son ejecutadas y cuales son sus grados de importancia. Los creadores de tests planifican por tpico cuales preguntas deben constar en la prueba, cuales materias son ms importantes, cuales son menos importantes y el nivel de competencia requerido. Los puntos para aprobacin/suspensin o eliminacin determinan el umbral entre pasar y reprobar. Finalmente, en las evaluaciones de alta complejidad, profesionales especializados analizarn los resultados estadsticos y propondrn directrices sobre como mejorar el lenguaje usado en las preguntas, la prueba en general y las alternativas posibles. Sin embargo, en evaluaciones de poca complejidad es raro realizar una tal verificacin. 1.3 Factores Determinantes del Nivel de Complejidad de una Evaluacin El nivel de complejidad de una evaluacin tambin determina otros factores, desde las consecuencias generales hasta la validez de la prueba propiamente dicha.
Baja Consecuencias Decisiones Pocas Pocas y fcilmente reversibles Mejorar estudio Media Algunas Pueden ser revertidas Pasar, reprobar o esforzarse ms Media Tal vez importante Algunas Veces Alta Mayores Difcilmente reversibles Pasar o reprobar

Opciones para participantes Motivacin para hacer trampa? Identificacin Individual Supervisin requerida

Baja No importante No

Alta Muy importante Siempre y constante

Esfuerzo para contestar Verificar credibilidad y validez

Menor Raramente

Medio Especialistas Del Tema

Mayor Especialistas en psicometra

Como se puede ver en el la tabla de arriba, las consecuencias de los diferentes tipos de evaluacin varan. Un examen de alto nivel de complejidad puede determinar o no si una persona est empleada o despedida o si ir a terminar su carrera en la facultad. Como podra esperarse, las decisiones basadas en evaluaciones de complejidad baja son pocas y fcilmente reversibles. Si la persona obtiene un resultado bajo en un quiz, podr fcilmente contestar el resultado, pero si es reprobada en un examen de enfermera, ser muy difcil poder contestar el resultado. Las opciones del participante varan conforme el nivel de complejidad. Obviamente en una encuesta no hay motivacin para hacer trampa, lo mismo sucede con un test de bajo nivel de complejidad y de consecuencia. Las pruebas con pocas consecuencias son herramientas eficaces para mejorar el aprendizaje, la persona que hace trampa en este tipo de pruebas solamente se est engaando a si mismo. Sin embargo, en un examen de enfermera, arquitectura o ingeniera, el nivel de complejidad es mayor, entonces puede existir una motivacin para hacer trampa. Una consecuencia directa de esto es que se vuelve ms importante identificar cada candidato. De hecho, para pruebas con alto nivel de complejidad relacionadas a la seguridad nacional, tales como para ingresar a la CIA o al ejrcito, se utiliza el escaneo biomtrico de la retina para asegurarse que los candidatos son realmente quienes dicen ser. Obviamente si hay la motivacin para hacer trampa es baja, no habr necesidad de supervisar una evaluacin, pero si existe una gran motivacin para hacer trampa, entonces deber haber una vigilancia permanente. El esfuerzo para el desarrollo de un quiz es bien menor, sin embargo no se puede decir lo mismo para evaluaciones de nivel de complejidad/consecuencia media o alta. Una regla de oro para pruebas de nivel de complejidad media es que el especialista en la materia crear tres preguntas en una hora, de las cuales una sola ser incluida en la evaluacin. Para las evaluaciones de alto nivel de complejidad (por ejemplo: certificaciones) se necesita ms tiempo para crear las preguntas. El costo medio de una evaluacin de alto nivel de complejidad/consecuencia gira en torno a los US$500 y US$1,500 por pregunta! Cuando el nivel de complejidad es alto, es importante verificar que cada pregunta sea adecuada en relacin a la totalidad de la prueba. De esta manera los candidatos ms capacitados tienden a contestar correctamente, mientras que los menos capacitados o preparados no tendrn buenos resultados. Consecuentemente lleva tiempo, esfuerzo e inteligencia conseguir la combinacin correcta de preguntas en una prueba o examen de alto nivel de complejidad.

1.4 La Naturaleza de las Evaluaciones Como podemos ver en la siguiente tabla, cada tipo de evaluacin puede ser clasificada segn usos especficos y niveles de importancia:
Tipo de Evaluacin Examen Test Quiz Encuesta Uso de la Evaluacin De suma Diagnstico Formativa Necesidades, Reacciones, Diagnstico Importancia/Complejidad de la Evaluacin Media, Alta Baja, Media Baja Baja

Por ejemplo, los tests de clasificacin son un ejemplo popular de evaluacin del tipo diagnstico. Las personas emplean este tipo de evaluacin para posicionarse en una experiencia de aprendizaje adecuada. Como las otras evaluaciones, algunos tests de clasificacin tienen un bajo nivel de complejidad y otros pueden tener un nivel de complejidad ms alto. Por ejemplo, un examen de admisin es una prueba de clasificacin de nivel de complejidad/importancia mayor, mientras que un gua de conocimiento y de recursos de aprendizaje tiene un nivel de complejidad bajo. Si una empresa tiene 100 empleados, y desea proponer programas de capacitacin adecuados, ser necesario descubrir cuales son las carencias existentes al nivel de las habilidades, la empresa emplear una evaluacin con un nivel bajo de complejidad. No habr consecuencias para el candidato. Podr haber algunas consecuencias para la organizacin, pero generalmente aun eso es considerado como un nivel bajo de complejidad. Lo mismo se aplica a las auto-evaluaciones, pues ayudan a que las personas se den cuenta como les est yendo, si estn aprendiendo o no. Algunas empresas realizan un test los lunes por la maana a sus empleados. Estos generalmente no trabajan el fin de semana y al volver a las oficinas no estn en estado de alerta. Un test realizado el lunes por la maana los pone en el modo pensar. Es una evaluacin formativa de complejidad baja que les posibilita practicar la bsqueda y recuperacin de la informacin. Las evaluaciones de complejidad media, por otro lado, miden el nivel de conocimiento y habilidades de los empleados. Cuanto ms personal sean estas evaluaciones, mayor ser el nivel de complejidad/importancia puesto que tendrn mayores consecuencias. Exmenes de complejidad media tendrn consecuencias porque algunas personas probablemente tendrn mejores salarios por enfrentar problemas ms difciles. En un contexto acadmico, los instructores usan este nivel de evaluacin para atribuir puntuaciones. Los exmenes de alto nivel de complejidad son certificaciones reguladoras para grupos tales como plomeros, electricistas, policas, terapeutas, doctores o enfermeras. Estas profesiones son todas reguladas por la ciudad, el estado, o gobiernos federales, por lo tanto son consideradas de alto nivel de complejidad/importancia. Sin embargo, exmenes no reguladores, tales como certificaciones de Microsoft, Cisco o Linux tambin tienen un alto grado de complejidad. Por no tener consecuencias inmediatas, tienen nivel de complejidad inferior con respecto a las certificaciones reguladoras, pero como pueden dar acceso a empleos y oportunidades de promocin, tienen consecuencias para el candidato, podemos entonces clasificarla como teniendo un alto nivel de complejidad. De la misma manera un examen de entrada o pre-empleo tiene un alto nivel de complejidad. Obviamente si un candidato es reprobado en el examen de admisin de la facultad de derecho, este examen es de un nivel alto de complejidad/importancia. Finalmente, algunas empresas hacen lo que es conocido como permiso concedido. Si los empleados

pasan el examen pueden operar un tipo especfico de maquinaria. Generalmente cuanto ms peligroso es el manejo, ms alto es el nivel de complejidad; cuanto menos peligroso es el manejo, menor es el nivel de complejidad. 1.5 Consumidores teniendo consecuencias a partir de las Evaluaciones Cundo el plomero vaya a su casa, acabar rompiendo un cao? Un cirujano est calificado para extraer un apndice? Una persona est calificada para conducir un vehculo? La mayor preocupacin no debe ser si un alumno fue reprobado, sino si ser capaz de ejecutar una tarea determinada. Como resultado de estas situaciones, un tipo de alianza ha sido desarrollada entre los consumidores, los que contestan los exmenes y los que los crean. Los consumidores quieren estar seguro de que pueden confiar en las personas que emplean; diseadores de pruebas de alto nivel de complejidad quieren medir precisamente con tests vlidos y confiables, y los candidatos quieren que los tests sean justos. Debe haber comunicacin a cada nivel para garantizar que todos comprendan que los diseadores estn intentando producir un sistema justo y funcional de evaluacin. Tales cuestiones estn relacionadas con la Validez de Cara - percepcin entre los no-especialistas de que una prueba mide lo que debe medir. Una prueba no debe tener solamente Validez de Contenido determinacin documentada por especialistas de que la prueba mide las competencias deseadas para la tarea, pero tambin necesita tener la credibilidad del consumidor y del candidato que est contestando el examen. El autor de la prueba necesita ser entrenado adecuadamente; los alumnos necesitan ser educados sobre el valor de una evaluacin y ser asegurados de que estn listos para la experiencia; y los consumidores necesitan ser educados sobre la validez de la evaluacin para que puedan tener confianza en las personas que realizan su trabajo.

2. Credibilidad y Validez de las Evaluaciones Una evaluacin es confiable cuando funciona consistentemente. Si una encuesta indica que los empleados estn satisfechos con un curso, esta debe mostrar el mismo resultado tres das despus. (Este tipo de credibilidad es llamado de credibilidad de test, re-test.) Si un instructor clasifica los empleados que estn realizando una prueba de desempeo, la puntuacin deber ser igual a la de cualquiera otro instructor que haga la misma evaluacin. (Eso es denominado credibilidad intra-nota). Una evaluacin es vlida si mide lo que debe medir. Si una prueba o encuesta es aplicada a personas felices, los resultados deben mostrar que todos son felices. De manera similar si un grupo de personas con grandes conocimientos es evaluado, los resultados de la prueba deben mostrar que todos tienen un tal nivel de conocimientos. Las buenas evaluaciones son las consideradas como fiables y vlidas. Si una evaluacin es vlida, ser parecida al trabajo y el contenido se alinear, a los ojos de los profesionales del rea, con las tareas del trabajo. Este tipo de validez es conocido como Validez de Contenido. Para asegurar tal validez, las personas que crean la evaluacin deben en un primer lugar hacer un anlisis de la tarea para saber lo que es requerido para un trabajo especfico. Esto es hecho a travs de una encuesta realizada a los especialistas en el asunto o a las personas ejerciendo el trabajo. Esta encuesta va a determinar que conocimientos y habilidades son necesarios para ejecutar las tareas relacionadas al trabajo. Desde estas informaciones es posible producir una prueba vlida. La validez de la prueba requiere credibilidad. Sin embargo, una prueba puede ser fiable, pero no vlida. Este ejemplo ilustra como la credibilidad y la validez de una evaluacin estn relacionadas. Si aplicsemos dos veces una evaluacin de francs a un grupo de enfermeras y la puntuacin fuese exactamente la misma, la prueba sera considerada altamente fiable. Sin embargo, el hecho de que la puntuacin de la prueba es fiable no induce a que la prueba mida la competencia al nivel de los conocimientos en enfermera. La prueba es fiable, pero es invlida para medir las habilidades en enfermera. La prueba simplemente confirma un conocimiento al nivel del francs. Ahora imagnese si una prueba de habilidades en enfermera fuese aplicada dos veces a un grupo de enfermeras y la puntuacin fuese diferente cada vez. La prueba sera considerada no confiable, y si no es confiable no puede ser vlida; puntuaciones flotantes indican que nada est siendo medido. De esta manera la prueba se muestra no confiable e invlida. Una prueba de habilidades en enfermera confiable y vlida es aquella que muestra puntuaciones semejantes todas las veces que es aplicada al mismo grupo de candidatos y que permite mostrar las diferencias existentes entre las enfermeras competentes y las incompetentes. Es consistente y mide lo que debe ser medido.

Figura 1 Confiable (Consistente) Pero no es vlida

Figura 2 No es confiable (Consistente) y por lo tanto no es vlida

Figura 3 Confiable y Vlida

Otro ejemplo de la relacin entre credibilidad y validez est representado por las figuras de arriba.

La Figura 1 muestra que todos los dardos estn en la misma rea, ilustrando que el tirador analoga de una evaluacin es confiable y consistente, pero lamentablemente sus disparos no son vlidos. Si sus disparos fuesen vlidos, todos los dardos estaran en el centro. En la Figura 2 los dardos estn por todo el cuadro. Esta evaluacin no es confiable porque no es consistente. Por fin, el ltimo ejemplo muestra una evaluacin confiable y vlida, todos los dardos estn juntos en el centro de la mira. Observe que puede haber credibilidad sin validez, pero es imposible tener validez sin credibilidad. 2.1 Interpretacin de la puntuacin de las Evaluaciones Cuando las personas responden a una evaluacin, es importante que comprendan las implicaciones de sus puntuaciones, particularmente cuando la aprobacin o la suspensin ingieran una gran diferencia en sus vidas. Existen dos formas de puntuar las evaluaciones. Una se refiere a los criterios y la otra se refiere a las normas. Con una interpretacin de puntuaciones refirindose a criterios, los diseadores de la prueba establecen un estndar para la aprobacin y la suspensin. Si la persona aprueba, quiere decir que es calificada (ej: cirujano o plomeros).

Figura 4 Curva de dominio comn para una prueba refirindose a criterios Esta curva muestra el nmero de personas que contestaron la evaluacin y sus puntuaciones. La escala horizontal califica de 0 a 100, mientras que la escala vertical muestra el nmero de personas que alcanzaron una puntuacin especfica. La puntuacin de aprobacin determinada por los expertos es de 70%. Lo importante en este tipo de evaluaciones es que se ha establecido un cierto nivel de conocimientos para poder realizar un trabajo especfico. Por ejemplo, un evaluacin para conductores de vehculos emplear una interpretacin de las puntuaciones refirindose a criterios, considerando que un cierto nivel de conocimientos y habilidades son necesarios para aprobar. Una prueba refirindose a una norma, por otro lado, compara las puntuaciones de los candidatos entre s. Frecuentemente las puntuaciones obtenidas por los alumnos son publicadas. Las pruebas refirindose a normas son usadas para tomar decisiones de seleccin. Por ejemplo, un examen de admisin puede ser diseado para seleccionar candidatos y ocupar 100 vacantes en una facultad. El equipo de seleccin usa las puntuaciones obtenidas en la prueba para determinar cuales sern los 100 mejores y as atribuir las vacantes. El nivel de los candidatos ser diferente cada ao.

El punto clave es que la prueba servir para comparar las puntuaciones de los candidatos y al final se identificarn a los 100 mejores (ej: un concurso para entrar a un escuela de diplomacia).

Figura 5 Curva tpica para una prueba de referencia a una norma Cul la importancia de estas referencias? Si una ciudad decide contratar un arquitecto para disear un edificio, la comisin de planificacin va a querer tener las garantas de que el arquitecto ha sido aprobado en una prueba de referencia de criterio. Ellos no van a aceptar un profesional basndose solamente en el hecho del que es uno de los mejores alumnos del ao 77. Por otro lado, una prueba de referencia a la norma podra seleccionar los 10 mejores representantes de ventas o los 10 mejores alumnos del ao. Como consumidores nos sentimos confortables en saber que nuestros mdicos, enfermeros y farmacuticos fueron aprobados en un examen de certificacin que verific sus competencias, conocimientos y habilidades para ejercer sus funciones. Sera triste saber que su mdico fue formado por una universidad desconocida que siempre concedi certificados a sus 50 mejores alumnos independientemente de sus habilidades. 2.2 Evaluaciones Cronometradas Versus Evaluaciones Veloces La mayora de las pruebas son cronometradas, sin embargo estudios muestran que 95% de los alumnos concluyen una prueba dentro del tiempo lmite, siempre y cuando el tiempo establecido sea razonable. Sin embargo, existen pruebas que necesitan ser veloces porque la velocidad es una parte importante en el desempeo del trabajo. Por ejemplo, la prueba de un tcnico encargado de un reactor nuclear. Un objeto dentro de la prueba puede simular una situacin peligrosa al accionar alarmas y/o mostrar grficos de paneles de control. Este estmulo requiere que la persona acte dentro de un cierto lmite de tiempo. La situacin requiere una accin inmediata y no permite que la persona consulte a nadie para determinar la mejor accin. La persona debe saber como actuar y hacerlo dentro del tiempo disponible. sta es una prueba del tipo veloz porque el tiempo de reaccin de los candidatos es un punto-clave del trabajo y por ende debe ser medido para mantener la validez de la prueba.

3. Los Beneficios de las Evaluaciones Computarizadas Claramente las evaluaciones de todos los tipos pueden causar un impacto mayor sobre el que y el como los alumnos aprenden, sea en un ambiente corporativo o en un campus universitario. Tambin es cierto que si esas mismas organizaciones tuviesen que realizar estos tipos de evaluaciones sobre papel evaluacin formativa, de necesidades, de reaccin y de sumasera un proceso muy lento y muy difcil al nivel de la recoleccin de los resultados. Al computarizar las evaluaciones, es posible obtener resultados valiosos casi instantneamente. Este feedback rpido mejora la calidad de aprendizaje e incrementa la satisfaccin de los alumnos. Proporcionar ejercicios de prctica con feedback instantneo enriquece considerablemente el proceso de aprendizaje. Tener estos tipos de resultados puede causar un impacto enorme no solo en el resultado final, pero tambin en la productividad y el respeto de los reglamentos. Por ejemplo, organizaciones que deben probar el respeto de reglamentos - veracidad en emprstitos, economas, seguridad de los alimentos pueden emplear evaluaciones computarizadas para demostrar rpidamente que estn dentro de las normas. Para usufructuar los beneficios reales de las tcnicas de evaluacin aqu descritos, comience identificando sus metas: necesita identificar personas calificadas, mejorar el servicio al cliente, mejorar el tiempo de respuesta o seguir las normas de reglamento? Es importante documentar los tpicos y los objetivos del aprendizaje. Tambin debe determinar el tipo de evaluacin que su organizacin necesita para alcanzar las metas establecidas. Estas evaluaciones servirn para capacitar su organizacin y ayudarn a sus alumnos a alcanzar sus propios objetivos y los de su universidad/empresa.

Lectura Recomendada:

Criterion Referenced Test Development: Technical and Legal Guidelines for Corporate Training and Certification por Sharon A. Shrock and William C. Coscarelli (ISBN 1-890289-09-4)Evaluating Training Programs: The Four Levels por Donald L. Kirkpatrick (ISBN: 1-576750-42-6)Tests That Work por Odin
Westgaard (ISBN 0-7879-4596-X)Work-Learning Research white papers por Will Thalheimer (at www.work-learning.com) Trabajos publicados en el sitio de Questionmark:

Delivering Computerized Assessments Safely and Securely

http://www.questionmark.com/communities/getresource.asp?file=DeliveringComputerisedAssessmentsSecurely.pdf&group_id=5

The Learning Benefits of Asking Questions por Dr. Will Thalheimer Creating and Deploying Computerized Level 1 Assessments

http://www.questionmark.com/communities/getresource.asp?file=LearningBenefitsOfQuestions.pdf&group_id=5 http://www.questionmark.com/communities/getresource.asp?file=Level%201%20assessments.pdf&group_id=5

Improving Training Evaluations in Organizations por Dr. Paul Squires

http://www.questionmark.com/communities/getresource.asp?file=training_evaluation.pdf&group_id=5

Glosario Evaluacin Cualquier mtodo sistemtico para obtener evidencia por medio de preguntas para inferencias sobre el conocimiento, las habilidades, actitudes y otras caractersticas de personas para un propsito especfico. Examen Una evaluacin de suma usada para medir conocimientos o habilidades del alumno para documentar su nivel actual. Prueba/Test Una evaluacin diagnstico para medir los conocimientos y las habilidades de un alumno para informar sobre su nivel actual. Quiz Una evaluacin formativa usada para medir los conocimientos y las habilidades de un alumno para darle feedback sobre su nivel actual de conocimiento o habilidad. Encuesta Una evaluacin de diagnstico o de reaccin para medir los conocimientos, las habilidades y/o actitudes de un grupo para determinar las necesidades requeridas para atender a un propsito definido. Diagnstico Una evaluacin que es primariamente usada para identificar las necesidades y conocimientos de los participantes para dirigirlos a la experiencia de aprendizaje ms apropiado. Formativa Una evaluacin que tiene el objetivo primario de proporcionar prctica de bsqueda y recuperacin para un alumno y feedback preceptivo (tema, tpico y/o nivel de evaluacin). Escala de Likert (Lykert) Un mtodo para llevar el participante a expresar su opinin sobre una cuestin. Las escalas de Likert son frecuentemente de 4 puntos (completamente de acuerdo, de acuerdo, en desacuerdo, completamente en desacuerdo) de a 5 puntos (completamente de acuerdo, de acuerdo, neutro, en desacuerdo, completamente en desacuerdo), pero algunas veces puede traer hasta 10 opciones. Necesidades Una evaluacin usada para determinar los conocimientos, las habilidades y las actitudes de un grupo y as analizar las carencias y desarrollar el material de curso. El anlisis de carencias determina la variacin entre lo qu el alumno sabe y lo que debe saber. Reaccin Una evaluacin usada para determinar el nivel de satisfaccin con una experiencia de aprendizaje. Estas evaluaciones son frecuentemente conocidas como Nivel 1(Segn el Dr. Kirkpatrick), evaluaciones de curso, hojas con caras. Son rellenadas al final de una experiencia de aprendizaje o certificacin. De suma Una evaluacin donde el propsito primario es dar una nota cuantitativa y hacer un juicio sobre la realizacin de los participantes. Es normalmente conocido como un evento de certificacin si la meta es documentar que el candidato tiene conocimiento especializado. Questionmark:

Questionmark, con ms de 2,200 clientes a nivel mundial, ofrece a la industria del aprendizaje las capacidades ms ptimas para realizar evaluaciones en lnea, estas capacidades incluyen herramientas de autora, reporte y anlisis. Questionmark produce software de evaluacin y de prueba desde 1988, permitiendo a los educadores y formadores de redactar, administrar, y evaluar tests y encuestas, de forma segura, usando PC individuales, redes locales, intranets e Internet. El programa Questionmark Perception permite, sin conocimientos informticos o experiencia al nivel del HTML, crear archivos de preguntas. Los usuarios pueden crear varios bancos de pregunta a partir de los cuales juntan las preguntas en pruebas y encuestas, organizando las preguntas en temas y subtemas. Para ms detalles visite http://www.questionmark.com/esp