MODULO

EVALUACIÓN DE LA CALIDAD DE LA TECNOLOGÍA EDUCATIVA

ACTIVIDAD 4.2
EVALUACIÓN DE LA CALIDAD DEL SOFTWARE EDUCATIVO

Informe

PROFESOR CONSULTOR: NESTOR ANAYA CHAVEZ

Estudiante
ÁLVARO GARCÍA GARCIA

BUCARAMANGA

Mayo 16 - 2019

1
 INTRODUCCIÓN

En este informe correspondiente a la actividad 4.2. se ha sugerido la realización de un análisis

con referencia a la evaluación de un Sistema de Gestión del Aprendizaje LMS (Learning
Management System), o también reconocido como un sistema de gestión de aprendizaje
online, que permite diversas opciones de uso (administrar, monitorear, distribuir, evaluar y
apoyar las diferentes actividades previamente diseñadas y programadas dentro de un proceso
de formación completamente virtual (eLearning).

Estos sistemas LMS tienen amplios propósitos, en especial en el contexto educativo, donde
docentes y estudiantes, pueden elegir una plataforma, generando actualizaciones
permanentes de nuevas versiones, que fortalecen los sistemas de gestión del aprendizaje y
pueden obtener mejoras importantes para su gestión. Entiendo, que las Tics, se vienen
convirtiendo en un reto para el Sistema Educativo, y para las organizaciones a las que les
sirve de soporte.

Por esta razón, es que considero que estas nuevas herramientas virtuales permiten establecer
unos criterios claros, para controlar los diferentes elementos, que intervienen en el desarrollo
de las necesidades propias de cada persona en su respectivo contexto. Y de esta manera es
que hace que la educación virtual sea una realidad que ha tomado una grandísima aceptación
durante los últimos años, debido a que está sustentada por plataformas que soportan
herramientas pedagógicas y tecnológicas que satisfacen las necesidades del estudiante, del
profesor y de la institución educativa, ya que deben guiarse por las normas respectivas.

Vale agregar que estas plataformas se conocen como SGA (sistema de gestión de
aprendizaje), o por sus siglas en inglés LMS (Learning malajemente system). Por
consiguiente, en el presente documento se realiza un análisis de los diferentes elementos y
características de calidad que deben ser tenidos en cuenta (en el modelo de calidad) al
adelantar la evaluación de un sistema LMS.

2
 Se distinguen como elementos los siguientes

ELEMENTOS
1. Administración
2. Seguridad
3. Acceso
4. Integración con los otros sistemas
5. Monitoreo de cursos
6. Diseño de actividades
7. Colaboración en línea y comunicaciones
8. Herramientas de productividad

CARACTERÍSTICAS
Karl Kapp (2003) plantea cinco (5) características de los LMS, las cuales son:

1. Mantenimiento: La capacidad de mantener la tecnología del LMS a largo plazo es una

cuestión crítica. Se debe revisar que la aplicación separe la presentación del contenido. Las
actividades diarias como crear cursos, reciclarlos, eliminar usuarios, crear ejercicios, deben
ser sencillas. Si extender o actualizar el SGA es una tarea complicada, no debe considerarse.

2. Compatibilidad: Buscar una solución que es compatible con otros LMS del mercado.
Es decir, buscar soluciones que sean compatibles con otras existentes que permitan
intercambiar contenidos. Debe soportar estándares de intercambio como SCORM o IMS-CP.
Las interoperabilidades la habilidad de tomar un curso y usarlo en otro SGA.

3.Usabilidad: Debe asegurarse que el LMS es fácil de usar. Si la tecnología utilizada por la
plataforma es vista como mala o complicada será abandonada. Se espera que el SGA sea
intuitivo: debe ser fácil encontrar elementos, ser simple y directo. La interfaz de la plataforma
debe estar diseñada de manera que no sea necesaria una larga fase de capacitación.

3
4. Modularidad: debe poder ser desarrollado como un objeto pequeño de conocimiento
intercambiable. El SGA puede ser desarrollado como una colección intercambiable de
objetos de conocimiento o de funcionalidad. Cada uno de estos módulos es una pequeña pieza
de contenido. Los componentes u objetos de aprendizaje podrán ser reutilizados si cumplen
con los requerimientos de los usuarios.

5. Accesibilidad: debe ser accesible a todas las personas sin importar los obstáculos físicos
(situación de discapacidad) y además la tecnología que se está implementando esté disponible
para todos los usuarios. La accesibilidad se presenta desde dos aspectos: el SGA es accesible
para todos los individuos a pesar de sus de ciencias físicas, es decir, si está conforme con
estándares de accesibilidad. Las tecnologías empleadas por la plataforma están disponibles a
todos los usuarios (componentes, Extensiones, características del contenido).

Etapas que se deben tener en cuenta en el proceso de evaluación del software.

Cada una de estas características es crítica para el _éxito. Muchas de ellas se esconden, pero
si son evaluadas de forma individual aseguran un completo entendimiento de las necesidades
tecnológicas de una plataforma e-Learning. Sin embargo, Kapp no establece criterios de
medición, dejando a los usuarios su definición.

También se toman apartes de la Metodología Generalizada de Evaluación de Software. La

cual está basada en las normas ISO/IEC 9126, ISO/IEC 14598 e ISO/IEC 25000 y se
fundamenta en las etapas que se deben tener en cuenta en un proceso de evaluación del
software de un sistema LMS:
1.Establecimiento de la evaluación
2.Planificación de la evaluación
3.Establecer modelo de calidad
4.Determinar puntuación/ calificación de los elementos que componen el modelo
5.Efectuar medición
6.Establecer resultados
7.Presentar Informe
4
A continuación, en la tabla 1 se describe con más detalle cada una de las etapas:

Tabla 1. Detalles de cada etapa de la metodología Generalizada de Evaluación de Software

ETAPA DETALLES de las características

DIMENSIONES
Determinar objetivo de la Evaluación.
1.Establecimiento de la Objetivo que busca la evaluación.
evaluación. Determinar los requerimientos de calidad.

Elaborar un cronograma de Evaluación.

•Definir todas las actividades durante el proceso de evaluación.
Identificar responsables.
•Identificar que personal se necesita para el proceso de evaluación.
2. Planificación de la Determinar roles.
evaluación. •Asignar funciones a cada persona que haga parte del proceso.
. Elaborar contrato o acuerdo
•Contrato con las diferentes especificaciones para desarrollar cada
actividad.
Nivel 0: Tipo de calidad.
•Métricas de producto.
•Métricas de proceso.
Nivel1: características
3. Establecer Modelo de •Se seleccionan las características de la norma base de calidad. Ejemplo:
Calidad. ISO/IEC 9126.
Nivel 2: Subcaracterísticas
•Determinan los atributos del producto.
•Enumerar los tributos
•Validar las sub características y incluir las características en el nivel de
subcaracterísticas una vez aprobado.
Nivel 3: Métrica
•Las fórmulas y las medidas determinan el grado de cumplimiento de las
subcaracterísticas.
Nivel 4: indicadores
•Calcular el valor resultante ya sea en número, porcentaje

Nivel 0: tipos de calidad

•Se indica cuanto se asigna a las métricas del producto y a las métricas del
4.Determinar proceso. Estas son específicas para la institución educativa.
puntuación/calificación Nivel 1: Características
de los elementos que •Se distribuyen los puntajes definidos y se presentan al cliente para su
componen el modelo. aprobación.

Nivel 2: Subcaracterísticas
•Asignación de puntajes para valorar las sub características para el
proceso y el producto. Para verificar se pueden utilizar entrevistas,
encuestas y pruebas técnicas, administrativas
5
 Nivel 3: Métricas
•Se asignan los puntajes máximos de referencias para valorar las métricas.
Solo se deben usar números enteros.
Medición de las características, subcaracterísticas, métricas e indicadores
aplicando los instrumentos y herramientas definidos.
Se trabajan diversas pruebas
5. Efectuar medición. 1.Puntajes obtenidos.
2.Los valores se deben representar en las escalas definidas.
3.El valor no debe ser mayor al establecido.
4.Pruebas más adecuadas para software educativos: pruebas de caja negra,
pruebas administrativas, cuestionarios de revelamiento técnico, encuestas
para usuarios, entrevistas y confirmadas esto no quiere decir que de
descarten otras
Se puede utilizar una matriz que contenga:
1.Se determina tipo de calidad.
2.Características
3.Subcaracterísticas.
4.Métricas.
6. Establecer resultados. 5.Indicadores.
6.Puntaje especificado.
7.Puntaje obtenido.
•Permite comparar puntajes
•Determinar si se cumple con las especificaciones.
•El producto es acorde si supera los 70 puntos.
Documento final que corresponde al informe final de la evaluación.
7. Presentar Informe Informe ejecutivo de máximo una hoja y un informe analítico con la
documentación de soporte
Tabla1. Fuente: elaboración propia

Ahora también vale resaltar en los LMS, las normas y estándares. Puesto que los Sistemas de Gestión
de Aprendizaje, que emplea las TICs, para su funcionamiento, deben entenderse como un software,
que media los procesos inmersos en estos sistemas.

Los Sistemas de Gestión de Aprendizaje, deben revisarse desde el punto de vista evaluativo,
obedeciendo a los aspectos técnicos según la norma ISO/ IEC 9126 sin ser tan riguroso. Esta norma
busca poder medir la calidad de un programa informático.

Entendiendo por calidad “la propiedad o conjunto de propiedad, es inherente al software, que permite
determinar su valor”. Para ello, propone la descomposición del atributo de calidad en otros más
sencillos y fáciles de medir. De esta forma se establecen los requisitos de la calidad de un programa
y se consigue un mayor conocimiento del programa estudiado.

6
 LMS NORMAS Y ESTÁNDARES
MODELO DE CALIDAD ISO/ Es la integración de las normas ISO/ IEC 9126 e ISO 14598. Se
define tres vistas, para evaluar dicha calidad.
IEC 2500
La vista interna está relacionada con las propiedades del software
asociadas a las primeras fases del desarrollo (tamaño, complejidad,
etc.).

La vista externa se enfoca a la validación del producto en términos

de efectividad y rapidez, uso de memoria, etc.

La vista de uso, se refiere a la percepción del usuario con respecto

a la efectividad del producto para la ejecución de las tareas. Por
consiguiente, cada vista define una serie de métricas. Esto permite
detectar fortalezas y debilidades de un sistema y se enfoca en la
toma de decisiones para la compra y la comparación.
ESTÁNDAR ISO/ IEC 19796-1
Este es el primer estándar de calidad, para el aprendizaje, la
educación y la capacitación. Entonces, en el Marco de Referencia,
se basa en la descripción de calidad (RFDQ) y consta de dos partes:
Un modelo de procesos como clasificación de referencia y un
esquema de descripción, para el control de la calidad.

El modelo de procesos, considera todo el ciclo de vida del e-

Learning y tiene las siguientes características: Integración,
completitud, apertura, adaptabilidad y unicidad. Vale mencionar
que también se divide en siete categorías (análisis de necesidades,
análisis de marco de trabajo, concepción/ diseño, desarrollo/
producción, implementación, proceso de aprendizaje y evaluación/
optimización) y treinta y ocho subprocesos, donde se debe
especificar los métodos y métricas a tener en cuenta.

Ahora bien, es de vital importancia conocer los Pro y Contra de

diferentes propuestas y modelos de procesos, con el fin de
diferenciar las fortalezas/ debilidades que consigo traen.

Tabla 2. Normas y estándares

7
 ASPECTOS QUE DEBEN TENERSE EN CUENTA
EN LOS PROCESOS DE EVALUACION DE LA CALIDAD
PARA LOS SIGUENTES LMS

He considerado nombrar algunos de estos modelos puesto que son los que con mayor amplitud se
estudian para este caso de las LMS

PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS

BESHEARS Es una propuesta está enfocada, al proceso de implementación, es
decir, se vuelve complejo, para quienes no tienen conocimiento al
respecto.
CÓDIGO ABIERTO Establece una metodología cuantitativa, para aplicar a la evaluación
de calidad de un sistema LMS, solo que esta medición es subjetiva y
su valor, por lo tanto, está dado en la percepción global.
EDU TOOLS Posee un marco genérico y un listado de funcionalidades deseables
para las herramientas, su medición sea sencilla, tiene lista de cotejo.
Su desventaja, radica en la presencia o ausencia de elementos, que
hacen que se realicen largas revisiones de la calidad del sistema.
GEORGIAKAKIS Plantea un aspecto importante que es la usabilidad, traza un esquema
de clasificación y unos niveles que lo hacen sencillo de utilizar, solo
que su evaluación la hacen verdaderos expertos y en ambientes
controlados.
ISO/ IEC 19796-1 Se enfoca mucho en el proceso de implementación de un esquema
de aprendizaje, haciendo que el LMS, no sea parte del estándar sino
de un subproceso. Su ventaja radica en que proporciona un
documento enfocado a la generación de métricas y mediciones de
calidad
KAPP La propuesta presentada por Kapp, tiene como inconveniente su
generalidad al no constituir de forma clara, una metodología, ni un
rango de valores, para la evaluación.
MARCO DE LAS TIC En cuanto a este marco, se puede ver su enfoque en la parte
tecnológica, donde cobra la importancia la interacción usuario-
sistema. Su principal ventaja son las inspecciones basadas en
patrones, haciéndola objetiva, solo el número de AT´ S, si son
generados, puede no cubrir todas las características.
NORMAS ISO 9126 e ISO Es así, como esto lo hace limitado, aunque su ventaja es que se puede
14598 definir, una colección de características y la forma en que serán
medidas, estableciendo unos criterios y objetivos que evitarán las
valoraciones subjetivas.
Tabla3. Fuente, Pro y Contra de diferentes propuestas y modelos estudiadas

8
CONCLUSIONES

Se concluye que todo aquél que se interese en aplicar modelos de calidad en la producción
de software está apoyado por una serie de herramientas que aportan a la evaluación del
software puesto que se pueden identificar los elementos correspondientes al igual que sus
características en cada uno de ellos

Por ejemplo, se puede generar sus propias métricas bajo la guía del estándar ISO 9126. Lo
que le permite ser autentico en su trabajo ya que puede valorar el nivel de excelencia de sus
productos, y de esta forma se puede establecer como unidad de trabajo en la institución
educativa sus respectivas LMS. Las cuáles serán de gran satisfacción como una característica
que permite lograr un conocimiento adecuado del sistema LMS en su contexto educativo
específico y con sus requisitos específicos.

Además, con el avance vertiginoso de las Tics, puede hacer parte de ese reto que se viene
ampliando cada día a nivel mundial donde el Sistema Educativo es uno de los más
beneficiados, claro está en unos países más que en otros, porque depende muchos de los
gobiernos de turno, pero es una opción para que de esta manera los docentes se puedan
fortalecer sus prácticas pedagógicas, pues el Sistema de Gestión del Aprendizaje LMS
(Learning Management System), que es un sistema de gestión de aprendizaje online, y que
permite administrar, distribuir, monitorear, evaluar y apoyar las diversas actividades
previamente diseñadas y programadas dentro de un proceso de formación completamente
virtual (eLearning) o de formación semi presencial (Blended Learning) se pueden dar con
más amplitud y constancia, ya que los estándares de la educación a distancia ya se vienen
enmarcando en diferentes organizaciones que crean normas y especificaciones, para la
interoperabilidad y calidad del servicio entre LMS. Lo cual favorecerá el conocimiento
nacido de la autoformación, que es unas de experiencias que he logrado asumir por voluntad
propia en pro de la responsabilidad de conocimiento que se debe asumir como docente.

9
REFERENCIAS BIBLIOGRÁFICAS

Arrieta, X., Aular, J. y Cova, A. (2007), Revisión de modelos para evaluación de software
educativos. Recuperado de:
http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008.MG/Documentos/Anexos/cap
4/2.pdf

Chacón, M., Solano, L. Modelo de calidad para la evaluación de una plataforma LMS.
Recuperado de:
https://digitum.um.es/xmlui/bitstream/10201/14625/1/LMS_CSC_edutec_09_def.pdf

Dominique, S.- L., & witold, S. (2000). Enhancing ISO/IEC 25021 Quality Measure.
Elementos for wider application within ISO 25000 series
Recuperado de http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008.
MG/Documentos /Anexos/cap4/1.pdf

Kapp, K. (2003). Five technological considerations when choosing an e-Learning solution.

ELearn Magazine. Recuperado de: http://elearnmag.acm.org/featured.cfm?aid=2134469

Libro Electrónico Multimedial: Evaluación de la calidad de la tecnología educativa.

Capítulo IV: Evaluación de la Calidad del Software Educativo. Recuperado de:
http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008.MG/Documentos/cap4/Capitu
lo_Completo.pdf

Menéndez, V., Domínguez, C. M. (2011). La Calidad en los Sistemas de Gestión del

Aprendizaje. Recuperado dehttp://aulavirtual.eaie.cvudes.edu.co/publico/lems/
L.000.008.MG/Documentos/Anexos/cap4/3.pdf

10