Uso de aplicaciones mviles y servicios en lnea para la recopilacin automatizada y obtencin de estadsticas de coevaluaciones Using mobile applications and

online services to collect and compute statistics of peer assessments

Adelaida Delgado Domnguez
Departament de C. Matemtiques i Informtica Universitat de les Illes Balears Palma de Mallorca, Espaa adelaida.delgado@uib.es
Abstract We present an experience on the automated collection of peer assessments of collaborative tasks of students using online applications or services that allow you to configure forms and receive data electronically. For students to peer assess in real time we selected the Socrative tool that lets you use smartphones, tablets, or laptops in a conventional classroom, or desktop computers in a computer lab. For students to assess the teamwork made by each of the team members we used the Wufoo tool, which replicates several times the same form in the same document. The experience is very transferable to any subject in the curricula adapted to the EAHE in which you want to collect data provided by the students in an automated manner, especially evaluation surveys (about the teacher or other students or groups of students) and to get statistical information. Keywords assessment Online Forms, Mobile Applications, Peer

I.

INTRODUCCION

La coevaluacin, o evaluacin por parte de compaeros, es una tcnica muy til para integrar al alumno en el proceso de evaluacin del aprendizaje. Dos virtudes a destacar de las coevaluaciones son [1], por un lado, la motivacin que implica a los alumnos a esforzarse ms por quedar bien delante de sus compaeros (lo cual a veces les importa incluso ms que quedar bien ante el profesor), y por otro, el hbito de criticar constructivamente el trabajo de sus colegas con los que va a tener que seguir colaborando. En esta experiencia se ha utilizado la coevaluacin para evaluar las competencias transversales de comunicacin oral y trabajo en equipo. Nadie mejor que los alumnos asistentes a una exposicin oral de sus compaeros pueden juzgar si sta les ha satisfecho (coevaluacin externa). Y nadie mejor que los propios miembros de un grupo pueden juzgar la participacin e implicacin de sus compaeros en el trabajo colaborativo (coevaluacin interna). En un contexto tradicional, llevar a cabo este tipo de evaluacin implica, adems de disear las preguntas con los indicadores para orientar la valoracin del alumno y crear tantos cuestionarios distintos como grupos de trabajo existan en el curso, imprimirlos, repartirlos, dedicar tiempo del horario lectivo para que los alumnos respondan al cuestionario, recogerlos, extraer las valoraciones de cada uno de ellos, agruparlas por alumno, calcular las notas medias y comunicar los resultados. En cursos anteriores al 2012-13 se intent semiautomatizar este proceso [2], proporcionando a los alumnos los cuestionarios en formato digital (los cuales eran descargados desde Moodle), y recogindolos, despus de haber sido rellenados, a travs de la herramienta Tareas de Moodle. Sin embargo, el procesamiento posterior de los documentos recopilados segua siendo laborioso, pues incluso habindose preparado una hoja de clculo con las frmulas necesarias para

Resumen Se presenta una experiencia sobre la recogida automatizada de las coevaluaciones de los trabajos colaborativos de los alumnos utilizando aplicaciones o servicios en lnea que permiten configurar formularios y recibir los datos telemticamente. Para que los alumnos coevaluasen las exposiciones de los trabajos en tiempo real se seleccion la herramienta Socrative que permite usar smartphones, tablets, o porttiles en un aula convencional, u ordenadores de sobremesa en un aula informtica. Para que los alumnos coevaluasen el trabajo en grupo de cada uno de los miembros de su equipo se utiliz la herramienta Wufoo, que permite duplicar un mismo formulario repetidas veces en un mismo documento. La experiencia es muy extrapolable a cualquier asignatura de los planes de estudios adaptados al EEES en los que se desee recopilar de manera automatizada datos proporcionados por los alumnos, especialmente encuestas de evaluacin (acerca del profesor o de otros alumnos o grupos de alumnos) y obtener informacin estadstica. Palabras clave Formularios en lnea; Aplicaciones Mviles; Coevaluacin

extraer las medias a partir de cada una de las tablas de datos con las valoraciones de los alumnos, stas tenan que copiarse desde los documentos originales y pegarse una a una en la hoja de clculo conjunta. Dado que hoy en da existen herramientas que nos permiten automatizar no slo la recopilacin de las respuestas mediante la creacin de formularios en lnea sino que adems nos agrupan los resultados en un solo documento (generalmente una hoja de clculo) de tal manera que despus podemos aplicarles las funciones estadsticas que deseemos de manera rpida y sencilla, durante el curso 2012-13 se ha decidido utilizarlas. En la Seccin II de este artculo se describe el contexto en el que se ha llevado a cabo la experiencia de utilizar este tipo de herramientas. En la Seccin III se indican los requisitos establecidos para la seleccin de los gestores de formularios en lnea utilizados. La Seccin IV se centra en el uso de la herramienta Socrative, seleccionada para llevar a cabo la coevaluacin de las exposiciones orales, y la Seccin V muestra el uso de la herramienta Wufoo, seleccionada para coevaluar el trabajo en grupo. Finalmente, la Seccin VI presenta las conclusiones de la experiencia. II.
CONTEXTO

llevar a cabo telemticamente en cualquier momento dentro de las 24h antes y despus de la exposicin. Una evaluacin efectuada por el profesor, acerca de la amplitud y profundidad de los contenidos desarrollados, la adecuacin y fiabilidad de las fuentes documentales consultadas, la colaboracin en la wiki y los medios expositivos utilizados.

El peso de cada una de esas evaluaciones lo deciden los alumnos a travs de Moodle mediante la actividad Consulta, entre un conjunto de distribuciones de porcentajes determinado2. En este artculo se muestra cmo se ha llevado a cabo la recogida automatizada de los formularios de la coevaluacin externa y los de la coevaluacin interna, y su posterior procesamiento. III.
SELECCIN DE GESTORES DE FORMULARIOS EN LINEA

Los requisitos generales que se establecieron para seleccionar las herramientas, tanto para la coevaluacin interna como para la externa, fueron: 1. 2. Que existiera una versin gratuita. Que los formularios fueran sencillos de editar y fcilmente reutilizables/adaptables para cada uno de los grupos. Que se pudieran activar los formularios en un momento determinado (en tiempo real para la coevaluacin externa y durante un perodo determinado para la coevaluacin interna).

En esta experiencia se parte de la situacin en que los estudiantes de una asignatura 1 tienen que llevar a cabo un trabajo en grupo (de hasta 8 personas) que luego ser expuesto al resto de alumnos durante una o dos sesiones de clase. El trabajo en cuestin consiste en desarrollar un taller para los compaeros, basado en uno de los temas propuestos (en esta experiencia concreta se trata de tecnologas web) y crear colaborativamente las pginas correspondientes en el wiki de la asignatura (para esta experiencia se ha utilizado Google Sites). El taller ha de incluir una presentacin de los conceptos tericos del tema (utilizando una herramienta como Powerpoint o Prezi), un conjunto de ejemplos y ejercicios para realizar en el aula, otros ejercicios para realizar de manera virtual y autnoma, y un conjunto de enlaces almacenados y compartido mediante un gestor de marcadores sociales (como por ejemplo Mister Wong o Diigo). Este taller desarrollado por los alumnos tiene un peso del 30% de la asignatura y pasa por varios procesos de evaluacin: Una coevaluacin externa acerca de la exposicin del trabajo, que llevan a cabo los alumnos asistentes a la presentacin (cuestionario del Anexo 1). Esta evaluacin se lleva a cabo telemticamente durante los 10 minutos posteriores a la exposicin y los alumnos evaluados obtienen el resultado antes de abandonar el aula. Una coevaluacin interna acerca del trabajo en grupo, efectuada por los miembros que componen el equipo, incluida la autoevaluacin de cada miembro (cuestionario del Anexo 2). Esta evaluacin se puede

3.

Se desestim utilizar el mdulo Cuestionarios de Moodle porque no se adecuaba al requisito 2 por ser excesivamente complejo y engorroso para crear formularios sencillos. Tambin se descart el uso de los formularios de Google Drive porque no cumplan el requisito 3, ya que si bien permiten definir reglas de notificacin para saber en qu momento contesta un alumno, y cada respuesta lleva una marca de tiempo, no permiten activar automticamente el formulario durante un intervalo de tiempo. Adems se establecieron unos requisitos especficos: A. Para la coevaluacin externa 4. Que se pudieran rellenar los formularios tanto en un aula convencional, desde cualquier dispositivo mvil (smartphone, tablet, porttil), como en un aula informtica a travs de los ordenadores de sobremesa. La mayora de gestores de formularios en lnea gratuitos no disponen de aplicaciones para mviles. La herramienta seleccionada, que s cumpla todos los requisitos deseables, fue Socrative 3.

2 1

La asignatura en concreto en la que se ha aplicado la experiencia es Tecnologas de la Informacin del plan antiguo de la Ingeniera Informtica de la Universidad de las Islas Baleares.

En el curso 2012-13 los alumnos decidieron la siguiente ponderacin para cada una de las evaluaciones: valoracin interna 30%; valoracin externa 30%; profesor 40%. 3 <http://www.socrative.com/>

B. Para la evaluacin interna 4. Que en un mismo documento se pudiera replicar el formulario tantas veces como miembros hay en el grupo, para que los alumnos no tuvieran que descargar cada uno de ellos por separado y, adems, el profesor pudiera obtener todos los resultados de manera integrada. La mayora de gestores de formularios en lnea del mercado no satisfacen este requisito y para evaluar a cada miembro del grupo hay que crear un formulario por miembro o bien en un mismo documento hay que volver a crear de cero cada una de las preguntas para cada miembro, lo cual es bastante tedioso. La herramienta seleccionada que s cumpla todos los requisitos deseables fue Wufoo4. IV.
UTILIZACIN DE SOCRATIVE PARA LA COEVALUACION EXTERNA DE LAS EXPOSICIONES ORALES Figura 1. Versin de Socrative para el profesor con su nmero de aula virtual asignado, la cantidad de alumnos conectados en tiempo real y la posibilidad de elegir el tipo de respuestas para crear un cuestionario

El uso de Socrative es muy simple. Existe una versin para el profesor (Socrative Teacher) en la que se le facilita un nmero de aula que ser el cdigo que se indicar a los alumnos para acceder en tiempo real a los cuestionarios a travs de la versin para estudiantes (Socrative Student). El profesor prepara con antelacin la actividad y la pone en marcha en tiempo real, en esta experiencia en concreto, tras la finalizacin de una exposicin oral. Socrative ofrece la posibilidad de crear formularios simples de respuesta mltiple, Verdadero/Falso o de respuesta corta, tal como se puede apreciar en la Figura 1. Para esta experiencia se han utilizado los formularios de respuesta corta. En la Figura 2 se puede ver que en la 1 pregunta se solicita el nombre del alumno evaluador, ya que la conexin al aula virtual es annima y el docente deseaba saber qu alumnos haban participado en el proceso de coevaluacin de cada taller. Luego se eliminaban tales nombres en la copia del informe que reciban los alumnos evaluados para garantizar el anonimato de los participantes y favorecer as la objetividad. El resto de preguntas, que se han incluido en el Anexo 1, constituyen el cuestionario propiamente dicho. Se indica a los alumnos que la respuesta debe ser un nmero de 0 a 10, aunque de cara a Socrative es un valor alfanumrico. En la Figura 2 tambin se puede apreciar que las preguntas se pueden reordenar fcilmente mediante unas flechas. Una vez creado el cuestionario base, se puede reutilizar para cada nueva coevaluacin, simplemente duplicndolo y editndolo despus para modificar el ttulo con el nombre del grupo, o taller en este caso, que corresponde evaluar en la sesin actual. Adems, Socrative, tambin permite importar actividades que han preparado otros docentes y/o compartir las que hayamos creado.

Figura 2. Creacin de un cuestionario de respuesta corta en Socrative y obtencin de un cdigo para compartirlo con otros docentes

En el momento deseado, el profesor activa un cuestionario determinado y decide si los alumnos pueden ir contestando las preguntas a su aire (modalidad Student Paced Quiz) o si tienen que haber contestado todos una pregunta para pasar a la siguiente (modalidad Teacher Paced Quiz). Los alumnos se conectan al aula virtual para rellenar el cuestionario utilizando el nmero facilitado por el profesor. Pueden hacerlo desde un dispositivo mvil o desde un ordenador de sobremesa de un aula informtica. En caso de utilizar un smartphone, los alumnos traen ya la aplicacin (Socrative Student) instalada, la cual se la pueden haber

<http://www.wufoo.com/>

descargado de Apple Store 5 o de Google Play 6 ; en caso de acceder desde un navegador web se les proporciona el enlace directo a travs de la pgina de la asignatura en Moodle. Cuando todos los alumnos han contestado, el profesor cierra la actividad y los resultados son inmediatos. Estos pueden proyectarse inmediatamente en el aula a partir del dispositivo utilizado por el profesor, o se puede generar un informe en una hoja de clculo, que se enva automticamente por correo electrnico al profesor7. En esta experiencia se ha optado por la segunda opcin ya que los resultados requeran un breve post-procesamiento consistente en convertir a formato nmero las valoraciones y aplicarles la funcin promedio, todo ello en la propia hoja de clculo, antes de ser mostrados a los alumnos (adems de eliminar los nombres de los participantes por cuestiones de anonimato, como ya se ha indicado anteriormente). Otros usos que se le pueden dar a Socrative son los propios de los clickers o mandos interactivos [3], [4], [5], como por ejemplo, poder evaluar al instante lo que los alumnos han aprendido sobre un tema que se acaba de explicar [6] (se pueden obtener los resultados globales del aula para cada pregunta y de manera annima), averiguar lo que los alumnos conocen de un tema antes de empezar a explicarlo, hacer sondeos de opiniones, etc. Socrative dispone de un blog8 para compartir experiencias y cuestionarios. A. Puntos fuertes de Socrative La posibilidad de ser instalada en dispositivos mviles permite su uso no slo en aulas informticas, sino tambin aulas convencionales. El cuestionario de evaluacin se puede activar nada ms acabar la exposicin oral, con lo cual los alumnos tienen frescas sus apreciaciones para llevar a cabo la valoracin. Adems, esa inmediatez en su realizacin fomenta la participacin de los alumnos, que podran descuidarse en su entrega si se llevara a cabo en diferido. El profesor puede ver en tiempo real cuntos alumnos han contestado el cuestionario y cuntos faltan por finalizar.

evaluacin. Para otros tipos de actividades puede resultar interesante el anonimato. Se podra dar el caso de que algn alumno se conectase a la habitacin del profesor para rellenar el cuestionario, desde fuera del aula y sin haber presenciado realmente la exposicin. O tambin, que un mismo alumno contestase varias veces utilizando los nombres de algunos de sus compaeros ausentes. O abriera ms de una sesin utilizando al mismo tiempo ms de un dispositivo (por ejemplo un mvil y un porttil). Para prevenirlo es conveniente hacer un recuento de los alumnos presentes en el aula y comprobar que coincide con el nmero de alumnos conectados. Las respuestas son de tipo alfanumricas, con lo cual, si se esperan valores numricos para luego aplicarles funciones en una hoja de clculo (por ejemplo clculo de promedios), han de ser previamente reconvertidas a nmeros. Cada actividad est limitada a 50 alumnos. En caso de grupos de clase multitudinarios, esto se podra paliar utilizando varios nmeros de aula en Socrative o que en lugar de que los alumnos emitieran sus valoraciones de manera individual, se consensuaran por grupo de trabajo y las emitiera un representante de cada uno de ellos. Se requiere que todos los alumnos dispongan de un dispositivo mvil (tablet, porttil, smartphone) con acceso a Internet, aunque eso hoy en da suele ser habitual entre universitarios, o disponer de un Aula Informtica. V.
UTILIZACIN DE WUFOO PARA LA COEVALUACION INTERNA DEL TRABAJO EN GRUPO

Wufoo 9 permite la creacin de formularios con una gran variedad de campos, tal como se puede apreciar en la Figura 3.

B. Puntos dbiles de Socrative No hay una identificacin de usuario, por lo tanto es conveniente que se recoja el nombre o DNI del alumno que contesta el formulario, incluyendo ese dato como una pregunta del mismo, en el caso de que el docente desee saber qu alumnos han participado de la

<https://itunes.apple.com/us/app/student-clickersocrative/id477618130?mt=8> 6 <https://play.google.com/store/apps/details?id=com.socrative.student> 7 Se puede ver un vdeo con el funcionamiento simultneo de la versin del profesor y la de dos alumnos, uno de ellos con un Smartphone, en <http://vimeo.com/27564554> 8 < http://www.socrative.com/garden/>

Figura 3. Tipos de campos de los formularios que ofrece Wufoo

< http://www.wufoo.com/>

Uno de esos campos es el denominado Likert en el que se puede configurar una tabla definiendo las cabeceras de filas y columnas y cuyas celdas son botones de radio. Una vez creada la tabla, se puede duplicar tantas veces como deseemos pulsando el botn +, como puede observarse en la Figura 4, y le podemos asignar un nuevo titular. De esta manera, los alumnos pueden evaluar a sus compaeros en un solo documento, mediante una tabla para la evaluacin de cada miembro. Conviene poner el nombre del miembro del grupo que se evala en cada formulario para que no haya confusiones. Los datos recogidos se pueden exportar a formato txt, xls y csv. Al exportarlos a una hoja de clculo podemos aplicar las frmulas que nos interesen y darle el formato deseado a los datos. Hay que tener en cuenta que el orden de los alumnos que aparece en la hoja de clculo, tras la exportacin de los datos, es el orden de entrega, que no tiene porqu coincidir con el orden de los miembros evaluados.

Figura 5. Limitacin de la actividad del formulario a un perodo de tiempo determinado o a un nmero concreto de entregas.

Tambin se pueden recibir notificaciones de nuevas entregas por email, por mvil o a travs de otra aplicacin como Twitter.

B. Puntos dbiles de Wufoo El nmero mximo de columnas del campo Likert es 10, por tanto, las valoraciones no pueden ser de 0 a 10 sino, en todo caso, de 1 a 10 o utilizar una menor granularidad. La versin gratuita slo permite un mximo de 3 formularios. Si un mismo formulario se quiere pasar en diferentes sesiones se pueden borrar las entradas (una vez exportados los resultados y almacenados en un fichero externo), reeditar el formulario con los ttulos actualizados y volver a programar la fecha de activacin. De esta manera, lo podemos reutilizar cuantas veces queramos. En tal caso, se recomendara crear una plantilla en una hoja de clculo con las frmulas y formatos deseados para que slo con copiar y pegar los datos nuevos, ya tengamos los resultados adaptados a nuestras necesidades. VI.
CONCLUSIONES

Figura 4. Posibilidad de duplicar un formulario en Wufoo para evaluar a otro miembro del grupo en el mismo documento

A. Puntos fuertes de Wufoo Muy fcil de utilizar y muy verstil. Proporciona el cdigo para incrustar el formulario con la etiqueta iframe de HTML o mediante Javascript (recomendado), adems de cdigo especfico para WordPress. Si se desea se puede descargar el archivo HTML completo para cargarlo en un servidor propio y que parezca que la pgina web est en nuestro dominio (los datos se enviarn al servidor de la aplicacin). Tambin se puede enlazar el formulario o enviar por correo electrnico. La opcin de duplicar del campo Likert permite aglutinar varios formularios en un solo documento. La actividad del formulario se puede limitar automticamente indicando un intervalo de tiempo o tambin estableciendo un mximo de formularios recibidos (tantos como alumnos lo han de cumplimentar), como puede observarse en la Figura 5.

Mediante las coevaluaciones se democratiza una parte del proceso de evaluacin. En esta experiencia, adems, los alumnos han tenido la posibilidad de decidir el peso de sus valoraciones frente a la del profesor, a travs de una consulta instantnea realizada en Moodle. El beneficio ms notable constatado por parte del docente al utilizar herramientas automatizadas para llevar a cabo tales coevaluaciones ha sido un ahorro sustancial de tiempo en la recopilacin de los cuestionarios de los alumnos y en la obtencin de datos estadsticos a partir de los mismos, tanto frente al mtodo clsico manual, como a otro semiautomtico explorado en cursos anteriores. Los alumnos han aprendido rpidamente la mecnica de las dos herramientas seleccionadas y no se ha tenido que desechar ningn cuestionario por falta de comprensin del mecanismo de funcionamiento. Los alumnos se sienten ms motivados para cumplimentar los cuestionarios, especialmente los realizados mediante la

herramienta Socrative, por la novedad del uso de smartphones en clase, cuando normalmente est prohibido utilizarlos. Y tambin tienen la satisfaccin de poder obtener la calificacin media otorgada por sus compaeros en las exposiciones orales aproximadamente 10 minutos despus de la finalizacin de la misma, en vez de tener que esperar varios das a que el profesor pudiera llevar a cabo la extraccin de los datos de cada uno de los documentos de evaluacin y procesarlos posteriormente, como suceda en cursos anteriores.
ANEXOS

Acadmica de la Universitat de les Illes Balears que se muestra en la Tabla I. I.

PROTOCOLO DE EVALUACIN DEL TRABAJO EN GRUPO Aspecto a evaluar Asiste con regularidad a las reuniones del grupo Escucha activamente durante las reuniones del grupo Aporta ideas prcticas que son adoptadas por el grupo Busca, analiza y prepara el material para la actividad Deja las diferencias personales fuera del grupo Da soporte a los miembros del grupo que tienen dificultades Qu puntuacin global le daras por su contribucin al trabajo del grupo?
a. Autoevaluacin

Miembro del grupo evaluado

T a 1 2 8

1.

Modelo del cuestionario para la evaluacin de las exposiciones orales Se ha elaborado el cuestionario automatizado en base al modelo 10 establecido por la Oficina de Convergncia i Harmonitzaci Europea del Vicerectorat dOrdenaci Acadmica de la Universitat de les Illes Balears, en el cual se incluyen las siguientes preguntas que han de ser valoradas por los alumnos con un rango de 0 a 10: 1. 2. 3. 4. 5. 6. 7. 8. 9. La capacidad de comunicacin del grupo ha sido satisfactoria La participacin de todos los miembros del grupo ha sido equilibrada El formato de presentacin ha sido eficaz y ha ayudado a una mejor comprensin del tema He podido seguir el ritmo de exposicin de los contenidos sin ningn problema El orden de los contenidos de la exposicin ha sido satisfactorio

REFERENCIAS
[1] M. Valero-Garca y L.M. Daz, Autoevaluacin y co-evaluacin: estrategias para facilitar la evaluacin continuada, en Actas del I Simposio Nacional de Docencia en la Informtica 2005. Thomson, 2005, p. 25-32. Disponible en < http://www.informatica.us.es/docs/25aniversario/FerminSanchez.pdf > A. Delgado, Aprendre llegint, escoltant, discutint, reflexionant, experimentant... i ensenyant, en UNIVEST 2011 III Congreso Internacional La Autogestin del Aprendizaje, Gerona, 2011 . 7 things that you should know about clickers en EDUCAUSE Learning Initiative's (ELI's), 7 Things You Should Know About ... TM series, 2005. Disponible en: < http://net.educause.edu/ir/library/pdf/ELI7002.pdf> Clicker Resource Guide. An Instructors Guide to the Ef fective Use of Personal Response Systems (Clickers) in Teaching, prepared by staff_ of the CU Science Education Initiative and the UBC Carl Wieman SEI, 2010. Disponible en: <http://acms.ucsd.edu/_files/clickers_guide.pdf> Jane E. Caldwell, Clickers in the Large Classroom: Current Research and Best-Practice Tips, CBELife Sciences Education, Vol. 6, Spring 2007, pp. 9-20. Disponible en: <http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1810212/pdf/cbe9.pdf> C. lvarez y J.F. Llosa, Evaluacin formativa con feedback rpido usando mandos interactivos, en JENUI 2010 "XVI Jornadas de Enseanza Universitaria de la Informtica". Santiago de Compostela, 2010, pp. 363-370. Disponible en: <http://hdl.handle.net/2099/11796>

[2]

[3]

[4]

El grupo ha hecho un buen uso del tiempo para la exposicin La claridad de exposicin ha sido un factor positivo para la comprensin del tema Creo que han preparado suficientemente el tema para hacer la exposicin Estoy satisfecho con la exposicin del grupo
[5]

[6]

10. Qu puntuacin global le daras al grupo por la exposicin que has presenciado?

2.

Modelo del cuestionario para la evaluacin del trabajo en grupo Se ha elaborado el cuestionario automatizado basndose en el modelo 11 establecido por la Oficina de Convergncia i Harmonitzaci Europea del Vicerectorat dOrdenaci

10

<http://sequa.uib.es/digitalAssets/105/105010_Prot_Aval_Sessions_Expo sitives.pdf>
11

<http://sequa.uib.es/digitalAssets/105/105009_Prot_Aval_Treb_Grup.pdf >