Creando cultura evaluadora de la calidad de los

materiales didcticos usados en la formacin ON LINE

Fco. Andrs Garca Martnez
fagarcia@ugr.es
Jos Antonio Ortega Carrillo
jaorte@ugr.es

Universidad de Granada - Centro UNESCO de Andaluca


Trabajo publicado en ALONSO, C. M. y GALLEGO, D. (Eds.) (2002):
Tecnologas de la informacin y la comunicacin para el
aprendizaje. Tomo I. Madrid: UNED, pp. 43-74.



1. La formacin ON-LINE como herramienta al servicio de la educacin
permanente.

El desarrollo experimentado por la NTIC ha propiciado el que se produzcan
grandes avances en todas las reas de la actividad humana y en especial en el
de la educacin abierta y flexible a distancia. La sociedad de la informacin
requiere de los ciudadanos que participen de forma activa, consciente y
reflexiva en todos los mbitos de la vida, as como una constante adaptacin a
los mltiples y rpidos cambios a los que todos estamos sometidos. Por ello se
hace necesaria una Educacin Permanente que posibilite a los jvenes y
adultos una formacin que favorezca el desarrollo individual y la capacidad de
interactuar en el medio social, laboral, familiar, intergeneracional.

Los procesos didcticocomunicativos que tienen lugar en los espacios
virtuales de enseanzaaprendizaje se enriquecen con el empleo de
herramientas propias de la interaccin especficas de las redes telemticas,
entendiendo estos escenarios de aprendizaje como nuevas situaciones
educativas ms amplias en cuanto a conocimientos y procedimientos que los
que hasta ahora conocemos (MARCELO, 2002: 18).

La educacin a distancia como consecuencia de las aportaciones de las NTIC
adopta diferentes formatos en funcin de los avances tecnolgicos, as como
por la capacidad de los usuarios de aprovechar estos avances (MARCELO,
2002: 19).

Los profesores tienen la oportunidad de teleensear y de teleformar con
nuevos materiales didcticos (hipermedia), as como a los alumnos la de
autoaprender con ellos y de aprender colaborativamente y cooperativamente
con otros agentes de la propuesta de educacin y de la formacin ON LINE.



2. La complejidad de los ecosistemas educativos virtuales.
Como henos escrito recientemente los centros de enseanza conforman
organizaciones que han de concebirse como ciber-ecosistemas (surgidos
desde la experiencia subjetiva comn) en los que la comunicacin educativa se
realiza mediante el intercambio telemtico de palabras, imgenes y sonidos
digitalizados (convertidos en secuencias de bits).

Estos ecosistemas se componen de ciber-biotopos formativos (agrupamientos
de alumnos para aprender en la virtualidad) de naturaleza y estructura
reticular, ya que los espacios fsicos de convivencia los conforman el conjunto
de ordenadores que, conectados a la red Internet, permiten la
intercomunicacin sincrnica y asincrnica alumno-profesor, alumno-alumno,
profesor-profesor y entidad-sociedad. En ellos interactan compartiendo
conocimientos, emociones y valores ciber-biocenosis planetarias (grupos de
ciber-alumnos y de ciber-profesores) pertenecientes a diferentes culturas y
geografas, motivados por intereses comunes a aprender teletrabajando en
proyectos de formacin a distancia.

Una premisa que han de compartir los integrantes de estas ciber-biocenosis es
el dominio de una lengua oral y escrita comn. Igualmente parece aconsejable
que alumnos y profesores compartan los significados de un conjunto cdigos
de comunicacin icnicos (pictogramas y smbolos) esenciales para el manejo
eficaz de las herramientas de comunicacin (correo electrnico,
teletransferencia de ficheros, conversacin por teclados, elaboracin e
intercambio de mensajes hipermedia, audio y videoconferencia, etc.).

Tal concepcin hunde sus races en la idea de que las organizaciones
dedicadas a la ciberformacin se conforman cual realidades sistmicas
formadas por ciertos subsistemas humanos que conviven en la realidad
(cuando se trate de experiencias semipresenciales) y otros que lo hacen
exclusivamente en el ciberespacio de forma virtual (ORTEGA CARRILLO,
2002).

Las competencias del profesor de Educacin a distancia con el empleo de las
NTIC y las herramientas y canales propios de Internet (eLearning) y de
formacin ON LINE adquieren nuevas dimensiones, correspondiendo para
MARCELO (2002: 54) las tareas de disear (ambientes de aprendizaje, los
contenidos formativos, las actividades de aprendizaje, los elementos grficos),
tutorar a los alumnos de forma individual y grupal y gestionar programas de
formacin. GARCIA ARETIO (2000: 116) habla de una complejidad de
funciones que han de ser desarrolladas por una multitud de agentes desde el
diseo de la propuesta de Educacin a Distancia hasta la evaluacin de los
aprendizajes de los alumnos, aadiendo nosotros la de los materiales y
recursos didcticos empleados y de la propuesta de formacin ON LINE de
forma global. Coincidimos con GARCIA ARETIO y MARCELO en la afirmacin
de que todas estas funciones no tienen que ser desempaadas por el mismo
profesor, sino por un equipo de expertos (en contenidos, en tecnologa
educativa, en produccin de materiales, orientacin, evaluacin , etc.).

De este modo, en el campo de la educacin permanente se plantean hoy da
retos cuya solucin es cada vez ms compleja, y que debern ser superados
para satisfacer las necesidades educativas y formativas de los ciudadanos de
cara a su plena integracin sociolaboral, de la sociedad en general y de los
agentes educativos en particular.

Las necesidades de aprendizaje y de actualizacin de conocimientos van en
aumento, al igual que las necesidades de formacin profesional en horarios
flexibles, sin necesidad de presencialidad en las aulas, de desplazamientos,
etc.

Esto ltimo exige el empleo de nuevas metodologas didcticas, del empleo de
nuevos materiales curriculares (hipermedia) y de nuevos espacios educativos
caracterizados por la no ubicacin fsica esttica sino por una dinmica (en
continuo cambio y caracterizado por la ubicacin de los profesores y los
alumnos), al igual que cambios en los roles de alumnos y profesores.

La misin de los materiales y de los recursos didcticos hipermedia es la de
facilitar el autoestudio y el estudio cooperativo a los estudiantes, as como el
desarrollo de las experiencias de enseanza aprendizaje que tienen lugar
dentro de las actividades formativas abiertas.

En cuanto a la decisin sobre cules son los medios ms adecuados a utilizar
suele ser compleja, ya que no existen todava suficientes estudios
experimentales para la comparacin objetiva de medios y formatos, y se corre
el riesgo de que la decisin est condicionada en exceso por los recursos
disponibles.


3. Creando cultura evaluadora de los materiales educativos on-line.

Por lo tanto se impone la necesidad de evaluar los materiales didcticos
hipermedia que han de ser empleados en las acciones formativas ON LINE
considerando dos parmetros clave: su calidad, fiabilidad (GARCA
MARTNEZ, 2002)
1
y usabilidad (MARCELO, 2002: 131)
2
. La evaluacin ha de
ser entendida como sinnimo de estimar en qu medida el elemento evaluado
tiene unas caractersticas que se consideran deseables y que han sido
especificadas a partir de la consideracin de unos criterios previamente
establecidos (MARQUS, 2002: 165).


1
Entendida la calidad como la conformidad de un producto con su especificacin (los
materiales curriculares y las unidades didcticas de formacin ON LINE responden a lo que de
ellos se dice), y la fiabilidad como una extensin de la calidad en el tiempo (los materiales
curriculares y las unidades didcticas responden a lo que de ellas se dice y adems sus
caractersticas se mantienen en el tiempo).

2
aade este concepto de acuerdo con la norma ISO 9241 (documento 11) donde se define
como el alcance al que puede llegar un producto al ser utilizado por unos usuarios especficos
para conseguir ciertas metas con eficiencia, efectividad y satisfaccin en un contexto de uso
concreto.
Para evaluar la calidad y la fiabilidad de los materiales y los recursos didcticos
en el programa de formacin ON LINE de directivos de instituciones educativas
(FODIE) del Departamento de Didctica y Organizacin Escolar de la
Universidad de Granada (http://www.ugr.es/~fagarcia) se propone una
investigacin basada metodologcamente en la triangulacin de datos
procedentes de jueces externos (profesores universitarios espaoles del rea
de Tecnologa Educativa), de los alumnos del programa y de las observaciones
de los propios autores.


3.1. El cuestionario electrnico como instrumento de evaluacin.

Para ello se emple el cuestionario electrnico, que se describe a continuacin
y que fue inicialmente validado por criterio de jueces (profesores de tecnologa
educativa de universidades espaolas).

Tras obtener el compromiso de colaboracin en el proceso de validacin del
instrumento, por parte de los jueces externos, se envi por correo electrnico el
cuestionario para su estudio y anlisis.

El protocolo definitivo contena las mejoras sugeridas por los jueces externos
como por los mismos autores del instrumento evaluador de los materiales
didcticos hipermedia (Unidades didcticas) y de los recursos didcticos del
programa FODIE, procedindose al clculo estadstico de su fiabilidad
posteriormente a la recogida de datos.

En el cuestionario electrnico de recogida de datos (formulario) existen 15
indicadores, que estimamos que deben ser controlados para detectar el grado
de calidad de los materiales curriculares publicados en la red como parte
integrante de las Unidades Didcticas en formato hipermedia y de la propuesta
FODIE.

El citado instrumento consta de 104 tem, de los cuales, 4 son abiertos donde
el evaluador puede escribir sin someterse a indicaciones de forma libre; y 2
tem de enunciado abierto, esto es, que no tienen enunciado dejando a los
evaluadores que lo redacten de acuerdo con las indicaciones dadas, los cuales
pretenden recoger aspectos que no aparecen en los tem relacionados con el
indicador 13 (Calidad de los elementos que componen la UD), a la vez que lo
califican con arreglo a la escala que los acompaa. A stos ltimos los
podramos denominar tem mixtos.

Para facilitar la evaluacin de los materiales y los recursos didcticos, el
evaluador slo tiene que pinchar sobre un men desplegable y seleccionar la
opcin deseada, actuando siempre con el botn izquierdo del ratn. Estas
ventanas desplegables responden a escalas de valoracin o escalas de
estimacin (COLS y BUENDA, 1994: 205), a travs de las cuales se
representa la intensidad o el grado de aceptacin, calidad, bondad, etc.,
numricamente y de forma automtica, gracias a la conversin realizada por el
software empleado. Todos los evaluadores (expertos y alumnos) tendrn que:

1. Elegir una entre varias opciones de un men desplegable.
2. Realizar comentarios alusivos a los apartados evaluados y cuyo
contenido no se recoge en los tem del cuestionario.
3. Construir, si lo estima conveniente, el enunciado (para dos tem) no
recogido en el cuestionario y que puede ser evaluado segn el proceso
antes descrito, y
4. Plasmar sus impresiones, opiniones, juicios de valor, etc. en los tem de
respuesta abierta.

Los tem se agrupan en 15 grupos o indicadores, que a su vez, se dividen en
subgrupos los indicadores 2, 4 y 5 como a continuacin se detalla.

Tabla 1. Distribucin de grupos y subgrupos de indicadores.
Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Siempre 1
Casi siempre 2
Nunca 3
1
Se tiene en todo
momento conocimiento
del espacio Web donde
uno se encuentra?
A veces 4
Siempre 1
Casi siempre 2
Nunca 3
2
Se puede avanzar,
retroceder, saltar a otra
pgina, segn las
preferencias del usuario?
A veces 4
Siempre 1
Casi siempre 2
Nunca 3
1. Facilidad de uso.

3
Contamos con un
sistema de ayuda para la
resolucin de dudas?
A veces 4

Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Muy
adecuado
1
Adecuado 2
Poco
Adecuado
3
4
El tipo de letra
empleado es:
Inadecuado 4
Muy
abundante
1
Abundante 2
Suficiente 3
Escasa 4
5
La iconicidad (uso de
imgenes visuales) es:
Nula 5
Muy
adecuado
1
Adecuado 2
Poco
Adecuado
3
6
El uso de elementos
de refuerzo del texto (
Subrayado, color,
parpadeo, etc.) es:
Inadecuado 4
Muy
adecuado
1
Adecuado 2
Poco
Adecuado
3
2. Calidad del entorno
visual.
a) Aspectos grficos.
7
El tamao de la letra
es:
Inadecuado 4

Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
No 1
S 2 8
Por lo general, las
pantallas presentan un
exceso de texto?: A veces 3
No 1
S 2
9
Resalta a simple vista lo
ms notable del texto?
A veces 3
No 1
S 2
10
Tienen las pantallas un
diseo claro?:
A veces 3
No 1
S 2
2. Calidad del entorno
visual.
b) Diseo de pantallas.
11
es atractivo el diseo de
las pantallas?
A veces 3

Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Muy Buena 1
Buena 2
Regular 3
Mala 4
12 Men de opciones:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
13

Formularios
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
14 Barras de navegacin:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
15 Barras de estado:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
2. Calidad del entorno
visual.
c) La Calidad tcnica.
16 Enlaces:
Muy mala 5


Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Muy Buena 1
Buena 2
Regular 3
Mala 4
17 Los Ttulos:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
18 Las Ventanas:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
2. Calidad del entorno
visual.
d) La Calidad
esttica..
19 Los Iconos:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
20 Los Botones:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
21 Los Espacios de texto:
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
22
Los Espacios reservados
a las imgenes.
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4

23 El Fondo:
Muy mala 5


Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Muy Buena 1
Buena 2
Regular 3
Mala 4
24 Correccin ortogrfica :
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
25 Correccin gramatical :
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
26
Correccin sintctica del
texto :
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
2. Calidad del entorno
visual.
e) Estilo del lenguaje:
27
Abuso de la
subordinacin :
Muy mala 5


Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Muy Buena 1
Buena 2
Regular 3
Mala 4
28
Calidad de las
imgenes :
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
29
La adecuacin de las
imgenes y grficos a
l texto es:
Muy mala 5
SI 1
30 Existen animaciones?
NO 0
3. Calidad de los
elementos hipermedia.

Muy Buena 1
Buena 2
Regular 3
Mala 4
31 La calidad de las
animaciones es
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
32
De existir, la
adecuacin de las
animaciones al texto
es:
Muy mala 5
Si 1
33
Existen
presentaciones
audiovisuales?
NO 0
Muy Buena 1
Buena 2
Regular 3
Mala 4
34
La calidad de las
presentaciones
audiovisuales es :
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
35
De existir, la
adecuacin de las
presentaciones
audiovidsuales al texto
es:
Muy mala 5
SI 1
36
Existen textos
sonoros? No 0
Muy buena 1
Buena 2
Regular 3
Mala 4
37
La calidad de los
textos sonoros es:
Muy mala 5
Muy buena 1
Buena 2
Regular 3
Mala 4

38
De existir, la
adecuacin de las
animaciones al texto
es:
Muy mala 5


Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Muy actualizada 1
Actualizada 2
Poco actualizada 3
39 La informacin est:
Desactualizada 4
Muy Bien estructurada 1
Bien estructurada 2
Mal estructurada 3
40 La informacin est:
Muy mal estructurada 4
Diferencia los fundamental de lo subjetivo 1
Mezcla lo objetivo y lo subjetivo 2
41
No diferencia lo fundamental y lo subjetivo 3
Aporta datos objetivos que refuerzan la
exposicin
1
Aporta pocos datos objetivos 2
42
No aporta datos objetivos a la exposicin 3
Muy Bien seleccionadas 1
Bien seleccionadas 2
Mal seleccionadas 3
4. Textos seleccionados. a) Aspectos
organizacionale
s de los
contenidos.

43
Las citas
empleadas
estn
Muy mal seleccionadas 4
Muy Buena 1
Buena 2
Regular 3
Mala 4
44
La calidad de
los textos
seleccionados
es ...
Muy mala 5
Excesivo 1
Suficiente 2
Escaso 3
Insuficiente 4
45
El nmero de
textos
seleccionados
es ...
No existen 5
Excesivo 1
Suficiente 2
Escaso 3
Insuficiente 4
46
El nmero de
imgenes es ...
No existen 5
Muy buena 1
Buena 2
Regular 3
Mala 4
47
La calidad del
texto sonoro es
...
Muy mala 5
Muy Buena 1
Buena 2
Regular 3
Mala 4
48
La
presentacin
visual es:
Muy Mala 5
Muy buena 1
Buena 2
Regular 3
Mala 4

49
La adecuacin
de las
imgenes y
grficos al
textos es:
Muy mala 5

Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Muy comprensible 1

Comprensible 2
Poco comprensible 3
50
La
exposicin de
conceptos
resulta:
Incomprensible 4
Muy adecuado 1
Adecuado 2
Poco adecuado 3
51
El formato
del texto es:
Inadecuado 4
Excesivo 1
Suficiente 2
Escaso 3
Insuficiente 4
4. Textos seleccionados.
b) Aspectos
conceptuales
52
Utiliza
vocabulario
especfico
No lo utiliza 5

Grupo/ Indicador
Denominacin del
aspecto
tem Enunciado Respuestas Valor
Positivos 1
No se definen 2 53
Los contenidos de
los mensajes
son: Negativos 3
Muy tendenciosos 1
Tendenciosos 2
4 . Textos seleccionados. c) Contenidos de
conocimiento y
valores:
54 y, adems,
resultan ...
Poco tendenciosos 3
Nada tendenciosos 4

Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Discriminan a la mujer 1
Discriminan al hombre 2 55
En cuanto al
sexo los textos y
los contenidos
No discriminan 3
Se dirigen a una clase
social concreta
1
Hacen distincin entre
clases sociales
2
56
En cuanto a la
clase social los
textos y los
contenidos
No discriminan entre
clases sociales
3
Discriminan por pensar
diferente
1
Se muestran respetuosos
con las diferencias
2
57
En cuanto a las
creencias los textos
y los contenidos
No hacen
discriminaciones
3
Hacen distincin entre
culturas
1
Son respetuosos con las
dems culturas
2
4. Textos seleccionados.
d)
Discriminacin
58
En cuanto a las
culturas o a los
grupos tnicos los
textos y los
contenidos
No hacen distincin
entre culturas
3



Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
A diferentes secciones de la
UD
1

A distintas partes de la misma 2
59
Las pginas
Web
permiten
acceder con
facilidad ...
A diferentes partes del
programa FODIE y a otras
pginas.
3
Lineal 1
No Lineal 2
Interactivo 3
60
El sistema de
navegacin
es ...
No Lineal e Interactivo 4
Organizar el itinerario
formativo
1
Realizar acciones concretas 2
5. Navegacin.
Interaccin con el
sistema ON LINE.
a) Navegacin.
Interaccin con
el sistema ON
LINE.
61
El sistema de
navegacin
permite ...
Trabajar con una sola pginas
de texto / grficos
3

Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Est Muy bien diseada 1
Est Bien diseada 2
Es mejorable 3
Est Mal diseada 4
62
La interaccin
profesores -
alumnos ...
Est muy mal diseada 5
Est muy bien diseada 1
5. Navegacin.
Interaccin con el
sistema ON LINE.
b) Interaccin
de los agentes
de la Formacin
ON LINE.
63 La interaccin
en los alumnos
d l
Est bien diseada 2
Es mejorable 3
Est Mal diseada 4
del programa
FODIE ...
Est muy mal diseada 5

64
Otros aspectos
a resaltar -
Entindase por
resaltar, cuidar,
mejorar, etc. -
no recogidos en
los tem
anteriores:
Respuesta abierta

Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
De mero receptor de
informacin
1
De receptor y emisor 2
65
El papel de
alumno y de
cada alumna es
... Emisor de informacin 3
Excesivos 1
Suficientes 2
Escasos 3
Insuficientes 4
6. Bidireccionalidad
Comunicativa.

66
Los canales de
difusin de la
informacin
producida por
los alumnos son
...
No existen
5

Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Enlaces a otras Pg. Web
relacionadas.
1
Dispone de enlaces a otras
pginas.
2 67
La Unidad
Didctica
dispone de ...
No dispone de enlaces a
otras pg. Web.
3
Con los servicios centrales
de FODIE.
1
Con todos los participantes
y Serv. Centrales de
FODIE.
2
68

La Unidad
Didctica
ofrece la
posibilidad de
contactar
mediante correo
electrnico.
La Unidad
Didctica
No ofrece servicios de
correo electrnico.
3
Otros alumnos del
programa.
1
Alumnos y profesores del
programa.
2

69
ofrece la
posibilidad de
contactar
mediante IRC
con ...

No ofrece este servicio.
3
Noticias y datos de inters. 1
Datos relacionados con
FODIE.
2
70
La Unidad
Didctica
ofrece el
servicio de
NEWS para
difundir ...
No ofrece este servicio.
3
Con Muy fcil acceso. 1
7. Potencialidad
comunicativa.

71 La Unidad
Didctica tiene
Con fcil acceso. 2
Con difcil acceso. 3
Con muy difcil acceso. 4



conexin con
un banco de
preguntas y
respuestas
(FAQ)
relacionadas
con la funcin
directiva en
instituciones
educativas
No ofrece este servicio. 5

Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Muy atractivo 1
Atractivo 2
Poco atractivo 3
72 resulta ...
Nada atractivo 4
Siempre 1
Casi siempre 2
A veces 3
8. Capacidad motivadora
del material didctico
empleado en esta Unidad
Didctica.

73
Despierta la
curiosidad y el
inters de los
usuarios ...
Nunca 4


Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Siempre
1
Casi siempre 2
A veces 3
74

La UD contempla
las caractersticas
de los usuarios
Nunca 4
Siempre
1
Casi siempre 2
A veces 3
75
La UD contempla
las circunstancias
de los usuarios
Nunca 4
9. Circunstancias
individuales.

76 Comentarios Respuesta abierta


Grupo/
Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Siempre 1
Casi siempre
2
A veces 3
77
Se disponen de distintos
itinerarios (experiencias para el
Auto aprendizaje) ...
Nunca 4
Siempre 1
Casi siempre 2
A veces 3
78
Al introducir los conceptos
nuevos emplea esquemas,
sntesis, ...
Nunca 4
Siempre 1
Casi siempre 2
A veces 3
79
Emplea diversos cdigos
comunicativos (verbal, icnico,
...)
Nunca 4
10.
Potencialidad
de los
recursos
didcticos ...

80 Incluye cuestiones relacionadas Siempre 1
Casi siempre 2
A veces 3
con los nuevos conocimientos
introducidos ...
Nunca 4
Siempre 1
Casi siempre 2
A veces 3

81
Se puede recurrir a un sistema
de ayudas y refuerzos
constantes ...
Nunca 4

Grupo/
Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Siempre 1
Casi siempre
2
A veces
3
82
El alumnado puede organizar
su tiempo de estudio ...
Nunca 4
Siempre 1
Casi siempre 2
A veces 3
11.
Fomento
de la
iniciativa y
el auto
aprendizaje
...


83
El alumnado puede definir sus
propios itinerarios formativos
...
Nunca
4


Grupo/
Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Alta 1
Suficiente 2
Baja 3
Muy Baja 4
84 de los objetivos
Nula 5
Alta 1
Suficiente 2
Baja 3
Muy Baja
4
85 de los procedimientos
Nula 5
Alta 1
Suficiente 2
Baja 3
Muy Baja
4
86 de los contenidos
Nula 5
Alta 1
Suficiente 2
Baja 3
Muy Baja 4
87 De la evaluacin
Nula 5
Alta 1
Suficiente 2
Baja 3
Muy Baja 4

88

De la auto evaluacin
Nula
5
Muy Alta 1
Alta 2
Suficiente 3
12. Calidad
didctica.


89 La evaluacin inicial.
Baja 4
Grupo/
Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Muy Baja 5
Muy Alta 1
Alta 2
Suficiente 3
Baja 4

90
Trabajo de evaluacin
propuesto al finalizar la Unidad
Didctica.
Muy Baja 5
Grupo/
Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor
Muy Alta 1
Alta 2
Suficiente 3
Baja 4
91

Profundizacin de
conocimientos.

Muy Baja 5
Muy Alta 1
Alta 2
Suficiente 3
Baja 4
92
Introduccin de la Unidad
Didctica.
Muy Baja 5
Muy Alta 1
Alta 2
Suficiente 3
Baja 4
93
Las actividades propuestas para
realizar en grupo.
Muy Baja 5
Muy alta 1
Alta 2
Suficiente 3
Baja 4
94
Trabajo del alumno, de las
actividades, de las destrezas
alcanzadas, etc.
Muy Baja 5
Muy alta 1
Alta 2
Suficiente 3
Baja 4
95 Actividades de refuerzo.
Muy Baja 5
Muy alta 1
Alta 2
Suficiente 3
Baja 4
96
Propuestas de Investigacin -
Accin.
Muy Baja 5
Muy alta 1
Alta 2
Suficiente 3
Baja 4
97
Instrumentos de auto
evaluacin.
Muy Baja 5
Muy alta 1
Alta 2
Suficiente 3
Baja 4
98 Secuencia de repaso.
Muy Baja 5
Muy alta 1
Alta 2
Suficiente 3
13. Calidad
de los
elementos
que
componen
la UD.

99 Enunciado abierto 1
Baja 4
Grupo/
Indicador
Denominacin
del aspecto
tem Enunciado Respuestas Valor

Muy Baja 5
Muy alta 1
Alta 2
Suficiente 3
Baja 4
100 Enunciado Abierto 2
Muy Baja 5

101
Otros aspectos a resaltar no
recogidos en los apartados
anteriores, referidos a la calidad
de los procesos y los recursos
de tele formacin.
Respuesta abierta

Grupo/
Indicador
Denominaci
n del
aspecto
tem Enunciado Respuestas Valor
Muy Buenas
1
Buenas 2
Regulares
3
Malas 4
102
Las Orientaciones dadas se pueden calificar
de ...
Muy Malas
5
Bastante

1
Poco

2
14.
Valoracin
del
material
didctico ...


103
A su juicio, la unidad didctica contribuir a
modificar los hbitos de comportamiento
(rutinas profesionales), la cultura del centro,
... contribuyendo a mejorar la organizacin
de la institucin educativa donde cada uno de
los alumnos y alumnas presta sus servicios,
bien como docente o desempeando un
cargo directivo; y los procesos educativos
que tienen lugar en ella:
Nada 3

Grupo/ Indicador
Denominacin
del aspecto
tem Enunciado Respuestas
15. Aspectos no
recogidos en la
Evaluacin.
104
A su juicio, Qu aspectos de esta
Unidad Didctica no han sido
indicados para ser evaluados?.



3.2. Formato del cuestionario ubicado en la web.

A continuacin mostramos un ejemplo de la esttica del cuestionario
electrnico elaborado para el programa FODIE.


Grfico 1. Captura de pantalla del cuestionario.

Tras la evaluacin de las Unidades Didcticas hipermedia y del anlisis de los
datos aportados por los jueces externos y los alumnos del programa FODIE,
para una mejor comprensin global de los datos, se propuso la siguiente tabla
resumen:

Jueces Alumnos
tem Enunciado
Calificativo
de
respuesta
Rang
o
% X % X
Media
ponde-rada
del Indica-
dor.
Siempre 1
Casi
siempre
2
Nunca 3
1
Se tiene en todo
momento conocimiento
del espacio Web donde
uno se encuentra?
A veces 4



Siempre 1
Casi
iempre s
2
Nunca 3
2
Se puede avanzar,
retroceder, saltar a otra
pgina, segn las
preferencias del
usuario?
A veces 4



Siempre 1
Casi
siempre
2
Nunca 3
3
Contamos con un
sistema de ayuda para
la resolucin de dudas?
A veces 4





3.3. Fiabilidad del cuestionario electrnico de evaluacin de materiales
didcticos hipermedia.

La fiabilidad se refiere al grado de consistencia del instrumento de medida
(cuestionario electrnico) expresado mediante el coeficiente de correlacin de
Pearson (BISQUERRA, 1989). Para determinar la fiabilidad del instrumento de
recogida de datos, en nuestra investigacin se emplea el mtodo de las dos
mitades, de forma que una vez recogidos todos los cuestionarios, los datos se
dividen en dos mitades (correspondientes a los tem pares y a los impares). La
correlacin entre estas partes nos determinar el ndice de fiabilidad del
cuestionario.

Para el clculo de la fiabilidad se emplea el programa informtico STATISTICA
para Windows, procediendo procedido a agrupar los tem por el nmero de
respuestas posibles. De este modo encontramos que analizados los tem de 3,
y 5 respuestas posibles el coeficiente de fiabilidad es medio alto o muy alto,
oscilando entre valores de 0.76 a 0.85; lo que indica que si este instrumento es
usado para repetidas evaluaciones de la calidad de las unidades didcticas del
programa FODIE, siempre actuar midiendo aquello que se desea medir.

El desarrollo de la exploracin descriptiva de los datos y el anlisis factorial nos
muestran un patrn muy consistente que nos indica que existen dos grandes
grupos de variables o agrupaciones de variables, tal y como se muestra en los
grficos siguientes:

1. Emplea, tamao de letra, comunicacin, respeta.
2. Presentacin visual, Sistema de ayuda, Contenidos, Itinerarios, Recursos,
Inters, Motivacin, Sistema de ayuda, horarios flexibles y Autonoma en el
estudio.
3. Desde TRABAJO_ALUMNO hasta INSTRUMENTO_AUTOEVALUACIN.
Siendo variables muy afines entre ellas TRABAJO ALUMNO, REFUERZO,
FORMULARIO, BARRA_NAVEGACIN, BARRA_ESTADO, ENLACES,
TTULO, VENTANA, ICONOS, BOTONES, ESPACIO_TEXTO,
EXPACIO_IMAGEN; y por otro lado ACTIVIDADES_GRUPO e
INVESTIGACIN ACCIN, las cuales hacen referencia a aspectos grficos de
las pginas Web que componen los distintos materiales hipermedia de las
unidades didcticas del programa FODIE.
4. Desde EVALUACIN a ADECUACIN_TEXTOS, donde podemos observar
que hay dos variables muy afines CALIDAD IMAGEN e INTERACCIN
PROFESOR-ALUMNO, haciendo referencia este agrupamiento de variables a
los recursos curriculares hipermedia empleados en el desarrollo de las
experiencias de tele enseanza y autoaprendizaje.
Tree Diagram for Variables
Complete Linkage
Power: SUM(ABS(x-y)**p)**1/r
E
M
P
L
E
A
C
O
M
U
N
I
C
A
C
I
O
N
R
E
S
P
E
T
O
T
A
M
A

O
_
L
E
T
R
A
R
E
F
U
E
R
Z
O
O
C
O
N
I
C
I
D
A
D
T
I
P
O
_
L
E
T
R
A
P
R
E
S
E
N
T
_
V
I
S
U
A
L
S
I
S
T
_
A
Y
U
D
A
C
O
N
T
E
N
I
D
O
S
I
T
I
N
E
R
A
R
I
O
R
E
C
U
R
S
O
S
I
N
T
E
R
E
S
M
O
T
I
V
A
C
I
O
N
P
R
E
S
E
N
T
_
A
N
I
M
A
D
A
S
I
S
T
_
A
Y
U
D
A
H
O
R
A
R
I
O
S
_
F
L
E
X
I
B
L
E
S
A
U
T
O
N
O
M
I
A
_
E
S
T
U
D
I
O
C
I
R
C
U
N
S
T
A
N
C
I
A
S
C
A
R
A
C
T
E
R
I
S
T
I
C
A
S
C
I
T
A
S
E
S
T
R
C
U
T
U
R
A
A
C
T
U
A
L
I
Z
A
C
I
O
N
P
R
E
F
E
R
E
N
C
I
A
S
L
O
C
A
L
I
Z
A
C
I
O
N
0
1
2
3
4
5
6
7
L
i
n
k
a
g
e

D
i
s
t
a
n
c
e
Grfico 2. Resultado de la exploracin descriptiva de los datos y del anlisis factorial
realizado con los tem de 4 respuestas posibles.
5.
Tree Diagram for Variables
Complete Linkage
Power: SUM(ABS(x-y)**p)**1/r
0 1 2 3 4 5 6 7 8
Linkage Distance
ALUMNO-ALUMNO
ADECUACIN GRFICOS_TEXTO
PROFESOR-ALUMNO
CALIDAD_IMAGEN
ADECUACIN_PRESENTACIN
ORIENTACIONES
OBJETIVOS
F.A.Q.
AUTOEVALUACION
EVALUACIN
CONTENIDOS
PROCEDIMIENTOS
VOCABULARIO
CALIDAD_TEXTOS
ADECUACIN_TEXT_SONORO
TEXTO_SONORO
CALIDAD_PRESENTACION
ADECUACIN ANIMACION
CALIDAD_ANIMACIN
CORECCIN_SINTACTICA
CORECCIN_GRAMATICAL
ORTOGRAFIA
INSTRUMENTO_AUTOEVALUACIN
SECUENCIA_REPASO
INVESTIGACIN_ACCIONE
ACTIVIDADES_GRUPO
ADEUCACION_IMAGEN
SUBORDINACION
FONDO
ESPACIO_IMAGEN
ESPACIO_TEXTO
BOTONES
ICONOS
VENTANA
TITULO
ENLACES
BARRA_ESTADO
BARRA_NAVEGACION
FORMULARIO
REFUERZO
TRABAJO_ALUMNO
INTRODUCCIN
PROFUNDIZACIN
EVALUACIN_FINAL
EVALUACIN_INICIAL
CANALES
PRESENTACION_VISUAL
NUMERO_TEXTOS
MENU_OPCIONES

Grfico 3. Anlisis Cluster para el caso de los tem de 5 respuestas posibles.

El clculo de la correlacin entre variables mediante la T de Student nos arroja
los valores recogidos en la tabla siguiente con un nivel confianza del 100%.


Mean Std.Dv. N Std.Err. Reference t-value df p
MENU_OPCIONES 2,000000

35

0,00

34

FORMULARIO 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
BARRA_NAVEGACION 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
BARRA_ESTADO 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
ENLACES 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
TITULO 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
VENTANA 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
ICONOS 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
BOTONES 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
ESPACIO_TEXTO 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
ESPACIO_IMAGEN 1,971429 0,169031 35 0,028571 0,00
69,000
34 0,000000
FONDO 1,971429 0,169031 35 0,028571 0,00 69,000 34 0,000000
ORTOGRAFIA 1,000000

35

0,00

34

CORECCIN_GRAMATICAL 1,000000

35

0,00

34

CORECCIN_SINTACTICA 1,000000

35

0,00

34

SUBORDINACION 2,028571 0,169031 35 0,028571 0,00 71,000 34 0,000000
CALIDAD_IMAGEN 1,142857 0,355036 35 0,060012 0,00 19,044 34 0,000000
ADEUCACION_IMAGEN 2,028571 0,169031 35 0,028571 0,00 71,000 34 0,000000
CALIDAD_ANIMACIN 1,000000

35

0,00

34

ADECUACIN ANIMACION 1,000000

35

0,00

34

CALIDAD_PRESENTACION 1,000000

35

0,00

34

ADECUACIN_PRESENTACI
N
1,057143 0,338062 35 0,057143 0,00 18,500 34 0,000000
TEXTO_SONORO 1,000000

35

0,00

34

ADECUACIN_TEXT_SONOR
O
1,000000

35

0,00

34

CALIDAD_TEXTOS 1,000000

35

0,00

34

NUMERO_TEXTOS 2,000000

35

0,00

34

PRESENTACION_VISUAL 2,000000

35

0,00

34

ADECUACIN
GRFICOS_TEXTO
1,200000 0,472789 35 0,079916 0,00 15,01578 34 0,000000
VOCABULARIO 1,000000

35

0,00

34

PROFESOR-ALUMNO 1,171429 0,382385 35 0,064635 0,00 18,12378 34 0,000000
ALUMNO-ALUMNO 1,200000 0,472789 35 0,079916 0,00 15,01578 34 0,000000
CANALES 2,000000

35

0,00

34

F.A.Q. 1,028571 0,169031 35 0,028571 0,00 36,00000 34 0,000000
OBJETIVOS 1,028571 0,169031 35 0,028571 0,00 36,00000 34 0,000000
PROCEDIMIENTOS 1,000000

35

0,00

34

CONTENIDOS 1,000000

35

0,00

34

EVALUACIN 1,000000

35

0,00

34

AUTOEVALUACION 1,000000

35

0,00

34

EVALUACIN_INICIAL 2,000000

35

0,00

34

EVALUACIN_FINAL 2,000000

35

0,00

34

PROFUNDIZACIN 2,000000

35

0,00

34

INTRODUCCIN 2,000000

35

0,00

34

ACTIVIDADES_GRUPO 2,171429 0,382385 35 0,064635 0,00 33,59529 34 0,000000
TRABAJO_ALUMNO 2,000000

35

0,00

34

REFUERZO 2,000000

35

0,00

34

INVESTIGACIN_ACCIONE 2,142857 0,355036 35 0,060012 0,00 35,70714 34 0,000000
INSTRUMENTO_AUTOEVALU
ACIN
1,828571 0,382385 35 0,064635 0,00 28,29077 34 0,000000
SECUENCIA_REPASO 2,114286 0,403764 35 0,068249 0,00 30,97921 34 0,000000
ORIENTACIONES 1,028571 0,169031 35 0,028571 0,00 36,00000 34 0,000000

Los datos marcados en negrita nos muestran la existencia de correlacin entre
variables a un nivel de confianza del 100%, no siendo el resto de variables
consideradas por el programa STATISTICA al no tener variabilidad. Ello nos
permite afirmar que el instrumento de recogida de datos, para el caso de los
tem de 5 respuestas posibles, tiene una alta fiabilidad.

BIBLIOGRAFA.

DUART, J. M. y SANGR, A. (2000): Aprender en la virtualidad. Barcelona:
Editorial Gedisa.

GARCA ARETIO (2000): Educacin a distancia. De la teora a la prctica.
Barcelona: Ariel.

GARCA MARTINEZ, F. A. (2002): Evaluacin de unidades didcticas de
Teleformacin de directivos de instituciones educativas. Universidad de
Granada. Dpto. de Didctica y Organizacin Escolar: Tesis doctoral
indita.

MAJ, J. y MARQUS, P. (2002): La revolucin educativa en la era Internet.
Barcelona: Praxis (Coleccin compromiso con la educacin).

MARCELO, C. (2002): ELearning. Teleformacin. Diseo, desarrollo y
evaluacin de la formacin a travs de Internet. Barcelona: Gestin
2000.com.

ORTEGA CARRILLO, J. A. (2002): Organizacin de programas de enseanza
virtual: Una perspectiva ciber-ecolgica. En Lorenzo, M. y otros
(coordinadores): Actas de las VI Jornadas Andaluzas sobre
Organizacin y Direccin de Instituciones Educativas. Granada: Grupo
Ed. Universitario (en prensa). Puede consultarse en
http//www.ugr.es/local/sevimeco (biblioteca de educacin a distancia).

VILES, E. (2001): Estadstica bsica para universitarios. Braain (Navarra):
Eunsa.