Medición Automatizada de Competencias Profesionales en

Informática Administrativa

Jesús Martín Santos Virgen 1, Miguel García Ruiz 2, y Porfirio Rodríguez Espinosa 3
1, 3
Facultad de Contabilidad y Administración de Tecomán, Universidad de Colima,
km. 40 Carretera Colima-Manzanillo, Crucero de Tecomán, Colima, México
msantos@ucol.mx1 , porfiriorodriguez@ucol.mx3
2
Laboratorio de Realidad Virtual de la Universidad de Colima, Av. Universidad 333,
Colima, Col, CP28040, colonia las Víboras, México
mgarcia@ucol.mx

Resumen. El presente trabajo tiene por objetivo automatizar la medición de

competencias profesionales en informática administrativa de estudiantes de
nivel superior. El sistema tiene como núcleo un exámen general de
conocimientos profesionales que se considera debe tener el licenciado en
informática. Esta investigación continua los trabajos sobre sistemas de
evaluación en línea iniciados en 2003 por Santos [1], y profundiza en el análisis
de la medición planteando la pregunta: ¿Qué conocimientos tienen de su área
los futuros profesionistas en informática? Como aproximación a la respuesta se
analizaron diversas propuestas de evaluación, entre ellas el Examen General de
Egreso en Informática-Computación (EGEL Info-Comp), y la del Graduate
Record Examinations (GRE). Para investigar esta pregunta se diseño un
Sistema para la Observación de la Formación en Informática Administrativa
(SOFIA) con una base de conocimientos de las áreas y temas de estudio del
perfil de Licenciado en Informática propuesto por la ANIEI, y ACM
(Association for Computing Machinery). En conclusión SOFIA permite medir
en detalle y de forma automatizada, diversos temas de estudio de la informática
administrativa, por lo que, el nivel de validez y el tiempo para medir
competencias laborales requeridas por los empleadores en México se pueden
mejorar significativamente con el sistema propuesto.

Palabras clave: ASP .Net, Evaluación de Competencias en Informática,

Simulación de Exámenes en Línea.

1 Introducción

El presente estudio describe la investigación de un Sistema para la Observación de la

Formación en Informática Administrativa (SOFIA) que se implementó en línea con el
objetivo de automatizar el análisis de los conocimientos profesionales en Informática
de estudiantes de nivel superior. SOFIA automatiza los procesos de registro, aplicación
y reporte de resultados de un exámen general global del modelo curricular de ANIEI.
El Sistema SOFIA en su fase experimental se probó con 76 estudiantes de la
Licenciatura en Informática de la Facultad de Contabilidad y Administración de
Tecomán (FCAT), de la Universidad de Colima. Los resultados fueron que con la
práctica con el examen en línea (SOFIA) los alumnos incrementaron significativamente
su desempeño en las competencias profesionales de ANIEI. En mayo de 2005 los
alumnos de último semestre de la Licenciatura en Informática realizaron el EGEL Info-
Comp del CENEVAL y el 56.5% obtuvo un índice global por encima de los 1000
puntos. El resultado de la generación 2005 de la Licenciatura en Informática de la
FCAT fue significativamente superior respecto de la generación anterior 2004 en la que
solo el 25% obtuvo calificación superior a 1000 puntos.

2 Estado del Arte

Desde 1947 diversos organismos internacionales como el Educational Testintg

Service (ETS), empezaron a aplicar exámenes para evaluar estudiantes, elaborando test
especializados mundialmente reconocidos como el TOEFL (Test of English as a
Foreing Language) y GRE (Graduate Record Examination), utilizados por múltiples
instituciones educativas en el mundo como criterio de evaluación para la admisión de
estudiantes a un posgrado. En la década de los 90’s se consolidaron diversas
herramientas multimedia comerciales para elaborar exámenes y para su aplicación por
Internet cuya tecnología también evolucionó, haciendo más eficiente la ejecución de
exámenes en los navegadores al permitir combinar lenguaje HTML con Scripts de
programación, así como accesar bases de datos desde Internet, independientemente del
diseño web implementado con hojas de estilo en cascada (CSS).

2.1 Antecedentes de las Evaluaciones Académicas

La evaluación de competencias profesionales se formalizó en la Edad Media en Italia

en las primeras universidades, donde a los sustentantes se les aplicaban exámenes
orales públicos ante un tribunal universitario. En el siglo XVIII se introducen normas
sobre la utilización de exámenes escritos que culminan en el siglo XIX con el
otorgamiento de certificados de nivel de dominio de materias de estudio así como
diplomas de graduación y grados académicos hasta doctor, que implicaban la
superación de exámenes de competencias profesionales con aprobación de un tribunal
universitario así como reconocimiento por el Estado para el ejercicio especializado de
una profesión.
En el siglo XX se aplican exámenes objetivos tipo test para combatir la subjetividad
de los exámenes orales. En 1930 en EU se idean multitud de test estandarizados para
medir competencias profesionales y posteriormente surgen instituciones como el ETS
(Educational Testing Service) que aplican el GRE a nivel internacional. Escudero [2]
considera que esta fase continua en la actualidad en que se han seguido incrementando
los tests estandarizados, enriquecidos con el desarrollo de los nuevos medios
tecnológicos audiovisuales y la computadora.
En México uno de los primeros antecedentes formales sobre la elaboración de
exámenes de competencias profesionales a nivel superior, fue la propuesta de creación
de un Centro Nacional de Exámenes en 1971, en la XIII Reunión Ordinaria de la
Asamblea de la ANUIES. Para evaluar los resultados académicos y las habilidades
fundamentales de los estudiantes, se recomendó el desarrollo de exámenes externos
globales para los alumnos que terminaran una licenciatura, con la posibilidad de
incorporarse como opción de titulación. En 1994 se crea el Centro Nacional de
Evaluación A.C., para llevar a cabo acciones para realizar evaluaciones nacionales,
entre ellas, exámenes generales globales de egreso de licenciatura para la observación
de competencias profesionales adquiridas por los alumnos para ejercer una carrera
universitaria.

2.2 Tecnologías de Exámenes Disponibles

Desde finales del siglo XX, se aplican con éxito exámenes por computadora y por
Internet; con este propósito compañías comerciales aportan al mercado desde los años
90’s productos para elaborar exámenes utilizando tecnologías computacionales; entre
estos productos se pueden mencionar Toolbook II y Authorware de Macromedia, que
proporciona objetos de aprendizaje como CourseBuilder para Dreamweaver y otros
aditamentos similares para implementar interacciones tipo exámen con Flash y Director
[1]. De manera similar evolucionaron las tecnologías de software disponibles para la
programación en Internet, surgiendo además de los productos mencionados
anteriormente, otras alternativas como ASP, PHP, JSP, ASP .Net y Coldfusion, que se
basan en controlar la interacción de una página web en un navegador de Internet a
través de código de Script en un servidor.
ASP.NET 2.0, la última versión de ASP utiliza el .NET framework además de la
tecnología de servidor Internet Information Server [3].

3 Methodología

Para el sistema SOFIA, se tomó como base fundamental el catálogo de áreas de

conocimiento y la ponderación de los temas de estudio del modelo curricular de la
Licenciatura en Informática de la ANIEI [8]. Estas áreas de conocimiento y
ponderaciones se muestran en la Tabla 1.

AREAS DE CONOCIMIENTO Ponderación

ENTORNO SOCIAL 27.5
MATEMÁTICAS 12.5
ARQUITECTURA DE COMPUTADORAS 7.5
REDES 7.5
SOFTWARE DE BASE 7.5
PROGRAMACIÓN E INGENIERÍA DE SOFTWARE 17.5
TRATAMIENTO DE INFORMACIÓN 12.5
INTERACCIÓN HOMBRE-MÁQUINA 7.5
Tabla 1.- ANIEI, Modelo Curricular para la Licenciatura en Informática,
Areas de Conocimiento y ponderaciones.
 El estudio para determinar los conocimientos que requerían los profesionales de la
Informática Administrativa, incluyó el análisis de la metodología del CENEVAL para
elaborar el EGEL Info-Comp Perfil A, sin embargo el presente estudio es
completamente independiente y más amplio, por abarcar, asimismo, el análisis de la
currícula para los profesionales de la computación elaborado por la ACM [7].
Como análisis metodológico para lograr la validez y confiabilidad del instrumento
de evaluación, representatividad de los reactivos para muestrear competencias
profesionales, así como la congruencia y completitud para que el desempeño del
sustentante sea representativo, se tomaron en cuenta los estudios metodológicos de
Smith y Ragan [6].
La evaluación del examen requería ser objetiva, por esta razón se eligió el modelo de
programación de preguntas de opción múltiple utilizando radio buttons en HTML, por
ser considerado un criterio suficientemente objetivo, además de ser el más utilizado a
nivel mundial en diversos instrumentos de evaluación como el GRE y el TOEFL.
Para el desarrollo de SOFIA, se aplicaron criterios de desarrollo rápido de acuerdo a
McConnell [5], como estrategia para la construcción del software, así como el
prototipo evolutivo, inspirado en las investigaciones de Gordon y Bieman [6], que
señalan que de los casos estudiados y publicados, 33 de 39 han tenido éxito con este
ciclo de vida.
Para la evolución por etapas del Sistema SOFIA, se desarrolló una metodología
propia de elaboración de exámenes por computadora, que consistió en los siguientes
pasos:
- Desarrollo del prototipo del sistema de exámenes en línea (Registro, Sesiones,
Evaluación, Elaboración de Reportes, Records de sustentantes).
- Elaboración de reactivos de los temas de estudio de las áreas de conocimientos:
Entorno Social, Matemáticas, Arquitectura de Computadoras, Redes, Software de Base,
Programación e Ingeniería de Software, Tratamiento de Información, Graficación,
Inteligencia Artificial e Interacción Humano-Computadora.
- Construcción del examen de cada contenido temático para su prueba en línea.
- Prueba de los reactivos y depuración de los mismos.
- Pruebas de implementación del Sistema SOFIA.
Para la elaboración del Sistema SOFIA se utilizó programación para Internet con
HTML, CSS, ASP.NET, y SQL. La seguridad de la base de datos se implementó con
Open-Data-Base Connectivituy (ODBC) y protecciones por contraseña. El Sistema
SOFIA fue diseñado para alimentarse con una etapa de registro en línea en la que el
estudiante proporciona un número de identificación ID y una protección de sus accesos
con una contraseña que se puede enviar a su correo. El alumno debe también enviar
una fotografía para emisión de reportes con identificación visual del sustentante y
verificación por parte de los sinodales, en el caso de que se deseen reproducir de
manera realista las sesiones de un EGEL Info-Comp. Los datos de los alumnos son
nombre del sustentante, institución, y calificaciones obtenidas en los temas de estudio
con base en la ponderación por áreas de conocimiento mostrado en la tabla 1. La base
de datos consiste de 9 tablas, una para sustentantes y el resto para banco de reactivos de
las áreas de conocimiento. Aunque el objetivo principal del sistema SOFIA es medir
competencias profesionales, los resultados se ajustan a distribución normal para
discriminar entre estudiantes. El sistema proporciona las calificaciones en los temas de
estudio en un índice de 700 a 1300 similar al del CENEVAL, que pondera las 8 áreas
de conocimiento de acuerdo al modelo curricular del Licenciado en Informática de
ANIEI.

4 Resultados Experimentales

El Sistema SOFIA en su fase experimental se aplicó a 23 estudiantes de 4° semestre,

30 de 6° semestre y 23 de 7° semestre. Los resultados fueron que practicando con el
sistema SOFIA los alumnos incrementaron significativamente su desempeño en las
competencias profesionales medidas con el examen en línea. El resultado de la
generación 2005 de la Licenciatura en Informática de la FCAT fue significativamente
superior respecto de la generación anterior 2004 en la que solo el 25% obtuvo
calificación superior a 1000 puntos y solo el 4.2% obtuvo reconocimiento de
desempeño satisfactorio (DAS) . En la generación 2005 un 17.4% de los sustentantes
se destacó obteniendo DAS por parte del CENEVAL y el 56.5% obtuvo un índice
global por encima de los 1000 puntos. Los alumnos de 4° semestre fueron los que
obtuvieron el desempeño más bajo, lo que da mayor validez y confiabilidad al sistema
SOFIA, debido a que es lógico que los alumnos de 4° semestre obtuvieran el
desempeño más bajo en los experimentos, tomando en cuenta que dichos estudiantes se
encuentran a la mitad del camino de adquirir las competencias profesionales del
Licenciado en Informática.

5 Conclusiones y Trabajo Futuro

El sistema SOFIA reproduce en sesiones en línea, los procesos de registro de

sustentantes y evaluación de las areas de conocimiento del curriculum de Licenciado en
Informática de ANIEI aplicando exámenes de opción múltiple, calificando en tiempo
real y automatizando la emisión de Constancia/Reporte en puntajes similares al índice
CENEVAL, ponderando los resultados de acuerdo a las 8 áreas de conocimiento de
ANIEI: Entorno Social, Matemáticas, Arquitectura de Computadoras, Redes, Software
de Base, Programación e Ingeniería de Software, Tratamiento de Información, así
como Graficación, Inteligencia Artificial e Interacción Humano-Computadora. El
sistema reporta al sustentante las deficiencias en determinadas áreas de estudio.
Como trabajo futuro se considera detallar en mayor profundidad los resultados de los
estudiantes para determinar su desempeño en los temas de estudio específicos,
asimismo se contempla determinar el grado de dificultad de cada reactivo registrando
las opciones seleccionadas por los sustentantes; con lo que SOFIA se puede
reprogramar como sistema inteligente (adaptativo)[10].
En conclusión el sistema propuesto además de retroalimentar a los estudiantes sobre
sus competencias profesionales en su futura área de trabajo, se puede convertir en una
herramienta de retroalimentación para las instituciones y docentes que forman
Licenciados en Informática.
La tendencia de los sistemas en línea también es la de proporcionar certificaciones;
en este sentido, el sistema SOFIA se considera limitado para garantizar una evaluación
integral de las competencias y habilidades de los Licenciados en Informática. Para
certificar estudios de nivel licenciatura se estima que las evaluaciones en línea son
insuficientes y deberían ser complementadas con evaluaciones de capacidades y
habilidades con exámenes prácticos y ante un jurado universitario integrado por
expertos en informática que puedan verificar las habilidades y capacidades del sustente
en forma real y presencial.

Reconocimientos. Deseamos agrader al M.ED. Adolfo Robles Kosonoy, director de la

Facultad de Contabilidad y Administración de Tecomán, dependiente de la Universidad
de Colima, por su apoyo para el desarrollo de este proyecto y la realización de las
pruebas del sistema SOFIA con los estudiantes de 4°, 6°, 7° y 8° semestres de la
Licenciatura en Informática.

Referencias

[1] M. Santos, Sistemas de Evaluación en Línea: Desarrollo de un Simulador del EGEL del
CENEVAL, II Congreso Internacional de Ciencias Computacionales e Informática de
ANIEI, Zacatecas, México, 2003.
[2] T. Escudero, “From test to evaluative research, One century, the XXth, of intense
development of evaluation in education”, Revista Electrónica de Investigación y Evaluación
Educativa (RELIEVE), v. 9, n.1, 2003.
[3] Microsoft ASP.net, en http://www.asp.net, consultada en 2005.
[4] S. McConnell, “Rapid Development”, Microsoft Press, 1996.
[5] V.S. Gordon y J.M. Bieman. “Rapid Prototyping: Lessons Learned”, IEEE Software, 1995.
[6] P.L. Smith y T.J. Ragan, “Instructional Design”, John Wiley & Sons, Inc. 2nd ed., 1999.
[7] ACM, “Computing Curricula 2001 Computer Science”, final report december 15, 2001,
Journal of Educational Resources in Computing, Vol. 1, No. 3, Fall 2001, Article #1, 240
pages. The Joint Task Force on Computing Curricula, IEEE Computer Society, Association
for Computing Machinery.
[8] ANIEI, Perfiles porcentuales por área para la Licenciatura en Informática, en los Modelos
Curriculares Nivel Licenciatura. www.org.mx, consultada en Mayo de 2004.
[9] P. Hontangas, V. Ponsoda, J. Olea, F. Abad, “Los tests adaptativos informatizados”. XXVIII
Congreso Iberoamericano de Psicología. Santiago de Chile, 2001.