ANLISIS DIMENSIONAL DE LA USABILIDAD DEL SOFTWARE OPENERP

ERIK MAURICIO DOMINGUEZ CASTRO COD 415631

Trabajo de grado presentado para optar al ttulo de Administrador de Empresas

DIRIGIDO POR: BEATRIZ HELENA DIAZ PINZON PhD.

UNIVERSIDAD NACIONAL DE COLOMBIA FACULTAD DE CIENCIAS ECONMICAS Bogot, 2011

TABLA DE CONTENIDO

INTRODUCCIN................................................................................................................................. 3 1. MARCO CONCEPTUAL ............................................................................................................. 4 1.1 1.2 1.3 1.4 Sistemas de informacin ..................................................................................................... 4 Usabilidad ............................................................................................................................ 5 Usabilidad, Uso y Utilidad ................................................................................................... 7 Evaluacin de la Usabilidad .............................................................................................. 10 Test de usuarios ........................................................................................................ 11 Cuestionarios............................................................................................................. 13 Evaluacin heurstica ................................................................................................ 15 Herramientas de software ......................................................................................... 17 Proyectos integrados ................................................................................................. 23 MUSIC ....................................................................................................................... 23 UWIS ......................................................................................................................... 23

1.2.1 1.2.2 1.2.3 1.2.4 1.2.5 1.2.5.1 1.2.5.2 2.

CASO DE ESTUDIO ................................................................................................................. 26 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.1 2.2 Software OpenERP. .......................................................................................................... 26 Red Wings ......................................................................................................................... 26 Metodologa utilizada. ....................................................................................................... 27 Resultados......................................................................................................................... 29 Evaluacin Fiabilidad Dimensiones................................................................................... 30 Anlisis factorial................................................................................................................. 30 Anlisis por dimensiones ................................................................................................... 34 Anlisis por variables......................................................................................................... 37 Relacin entre el perfil del usuario y la percepcin de usabilidad. ................................... 39

3. 4.

CONCLUSIONES ...................................................................................................................... 40 POSIBLES LINEAS DE INVESTIGACIN ............................................................................... 42

LISTADO DE TABLAS ...................................................................................................................... 43 LISTADO DE GRFICOS ................................................................................................................. 44 LISTADO DE ANEXOS ..................................................................................................................... 45 BIBLIOGRAFA.................................................................................................................................. 54

INTRODUCCIN
Las empresas estn intentando hacer sus aplicaciones ms amigables con el usuario. Su mejor propuesta hasta ahora ha sido coger todos sus folletos y estamparles amigable con el usuario en la portada. Bill Gates En la actualidad vemos como cada vez va tomando ms peso en las organizaciones la insercin de los sistemas de informacin como una herramienta necesaria para que la empresa adquiera un carcter competitivo y alcance sus objetivos estratgicos de mediano y largo plazo. Sin embargo, muchas veces los desarrolladores de software se centran en la ejecucin de los procesos y pasan por alto la interaccin entre el usuario y el ordenador, factor que es clave para la consolidacin de un sistema de informacin que cumpla con los objetivos establecidos. En este contexto surge el trmino de usabilidad, entendida como la percepcin del usuario acerca del esfuerzo necesario para el uso del sistema, convirtindose en una caracterstica determinante para la implementacin de un sistema de informacin en una organizacin.A nivel organizacional el hecho de que un sistema cuente con esta caracterstica se ve reflejado en un aumento de eficiencia, disminucin de reprocesos, baja resistencia a la insercin del sistema y menores costos en capacitacin. Por otro lado, la caracterstica de usabilidad responde a una necesidad social de inclusin a las nuevas tecnologas, ms en un pas como Colombia que cuenta con el ndice de Sociedad de Informacin (ISI) ms bajo a nivel latinoamericano (Everis, 2010), lo que se debe principalmente al bajo acceso a las TIC, pues Colombia es el pas con menor penetracin regional en la variable de ordenadores por mil habitantes, presentando un valor de 118 para este indicador. El presente trabajo tiene como objetivo principal ilustrar al lector sobre el concepto de usabilidad y las principales metodologas de su medicin, para lo cual se comienza presentando una revisin de las teoras y mtodos ms importantes sobre la materia, para posteriormente presentar como estudio de caso un anlisis de la usabilidad del software OpenERP, el cual es un sistema de informacingerencial integrado que permite la planeacin de recursos empresariales. El anlisis del software OpenERP se realiz a partir de la aplicacin de encuestas y entrevistas a diferentes grupos muestrales, midiendo de esta forma la percepcin de usuarios expertos e inexpertos y diseadores del software acerca de cada dimensin que compone el concepto de usabilidad, para posteriormente identificar las de mayor influencia, anlisis que es completado con el anlisis transversal de los elementos de contexto de uso y usuario, los cuales juegan un papel importante en la percepcin de la usabilidad de un sistema de informacin.

1. MARCO CONCEPTUAL
En este aparte sern definidos los conceptos a ser empleados en el presente trabajo. En primer lugar, se definir el concepto de sistemas de informacin y su importancia para las organizaciones, para luego abordar desde diferentes perspectivas el concepto de usabilidad y pasar a presentar las principales metodologas desarrolladas para su medicin. Finalmente, se presenta una comparacin del concepto usabilidad con otros trminos asociados.

1.1 Sistemas de informacin

Desde el punto de vista tcnico, un sistema de informacin se puede definir comoun conjunto decomponentes interrelacionados que capturan, almacenan, procesan y distribuyen la informacin, para apoyar la toma de decisiones, el control, anlisis y visin en una organizacin(Laudon &
Laudon, 2008). En el Diagrama 1 puede apreciar la interaccin que presentan los sistemas de

informacin al interior de la organizacin y su relacin con el entorno.

Diagrama 1. Sistema de informacin.

Proveedores

ENTORNO ORGANIZACIN SISTEMA DE INFORMACIN

Procesamiento:

Clientes

ENTRADA

Clasificar Ordenar Calcular

SALIDA

Retroalimentacin

Estado

Accionistas (Laudon & Laudon, 2008)

Competidores

Como se puede observar, al interior de la organizacin el sistema de informacin realiza tres operaciones (Laudon & Laudon, 2008):

La Entrada o recoleccin de datos tanto de la empresa como de su entorno, siendo los datos secuencias de hechos en bruto que representan eventos.

El procesamiento,que consiste entransformar los datos recolectados de acuerdo a unos criterios establecidos con el fin de que sean tiles en la toma de decisiones al interior de la organizacin.

La salida, que transfiere la informacin a las personas que la necesitan para el desarrollo de sus funciones.

Finalmente, el sistema necesita una retroalimentacin a la organizacin de la salida con el objetivo de mejorar la recoleccin de los datos.

Es necesario aclarar que el concepto sistemas de informacin abarca ms que los conceptos de software y hardware, pues estos se reducen al concepto de tecnologas de la informacin, mientras que el concepto de sistemas de informacin es ms complejo y pertenece a un campo multidisciplinario que da cabida a mltiples enfoques de estudio (Laudon & Laudon, 2008).

1.2 Usabilidad
La palabra usabilidad se deriva del trmino anglosajn usability, cuya traduccin ms acertada sera facilidad de uso, pero al no contar en el idioma espaol con una palabra que describa con precisin este concepto, se usa el trmino usabilidad a pesar de no aparecer en el diccionario de la Real Academia Espaola.El trmino usabilidad surgi hacia los aos 80s en Estados Unidos para remplazar el trmino amigable para el usuario,cuya interpretacin en ese entonces haba adquirido una indeseable connotacin subjetiva y vaga(Bevan, Kirakowskib, & Maissela, 1991).

El principal autor sobre el tema de usabilidad es el profesor Jakob Nielsen, doctor en ingeniera conocido como el gur de la usabilidad, quien la define comoun atributo de calidad que evala cun
fcil de usar son las interfaces de usuario. La palabra usabilidad tambin se refiere a los mtodos para mejorar la facilidad de uso durante el proceso de diseo(Nielsen J. , Usability Engineering, 1993).

Por otro lado, al interior de las normas ISO que trabajan la usabilidad, se identifican dos enfoques desde los cuales se puede abordar este concepto (Bevan N. -b., 1995), los cuales se presentan a continuacin: El punto de vista orientado al producto o enfoque bottom-up, el cual aborda la usabilidad desde la ergonoma. Bajo este enfoque la norma ISO(9126 1991) define la usabilidad comoUn
conjunto de atributos relacionados con el esfuerzo necesario para su uso, y en la valoracin individual de tal uso, por un conjunto de usuarios establecidos o implicados.

El punto de vista orientado al usuario o enfoque "top-down" interpreta la usabilidad como la capacidad de utilizar un producto para los fines previstos y se puede medir en trminos de esfuerzo mental y la actitud de los usuarios. Bajo este enfoque la norma ISO (9241-11 1998) define la usabilidad comoEl grado en que un producto puede ser usado por determinados usuarios
para lograr sus propsitos con eficacia, eficiencia y satisfaccin en un contexto de uso especfico.

Diagrama 2. Concepto de usabilidad

Para medir la usabilidad de un producto se ha identificado atributos cuantificables de forma objetiva (eficacia y eficiencia) y atributos cuantificables de forma subjetiva(satisfaccin)(Hassan, Martn Fernndez, & Iazza, 2004), los cuales son definidos de la siguiente forma (ISO, 9241-11 1998):

Eficacia: La exactitud y la plenitud con la que los usuarios alcanzan metas especificadas. Eficiencia: los recursos gastados con relacin a la certeza y la plenitud con la que los usuarios logran las metas. Satisfaccin: la comodidad y la aceptabilidad del uso. Contexto de uso: Los usuarios, objetivos, tareas, equipos (hardware, software y materiales), y elentorno fsicoy social enqueun producto es usado.

El contexto de uso es un elemento esencial para la compresin sistmica del concepto usabilidad, dado que la usabilidad no slo se determina por el producto, sino tambin por el contexto en el cual es usado y las caractersticas del usuario. De esta manera, no se puede decir que se cuenta con un producto usable o un producto inusable, ya que por ejemplo un producto que es inusable paraun usuario inexperto, puede ser usable para usuarios capacitados (Bevan N. , 1995).

Las relaciones entre producto, usuario y tareas se pueden abordar desde diferentes ambientes (Diagrama 3): El primero es un ambiente tcnico en el cual slo se analiza la relacin entre el producto y el desarrollo de la tarea, seguido de un ambiente fsico dnde se analiza la relacin entre producto, tarea y usuario; para finalmente pasar al ambiente organizacional y social que abarca la concepcin del usuario acerca de los objetivos de la tarea.

Por otro lado, el usuario medir la calidad de uso del producto utilizando por un lado el grado de satisfacciny por otro las medidas de rendimiento como son efectividad y eficiencia; las cuales estn claramente interrelacionadas.

Diagrama 3. Calidad de uso, medida determinada por el contexto de uso.

(Bevan N. , 1995)

1.3 Usabilidad, Uso y Utilidad

Dada la tendencia de confundir el trmino usabilidad con los conceptos de uso y utilidad, a continuacin se presenta una disertacin sobre el significado de cada trmino, con el objetivo de clarificar las diferencias que existen entre los mismos.

En primer lugar, el trmino uso hace referencia a si los usuarios utilizan o no el sistema de informacin, para lo cual hay que diferenciar entre la imposicin y la libre eleccin del uso del sistema de informacin.

Cuando el uso del sistema es impuesto, el usuario usar el sistema para poder continuar en la organizacin, pero no necesariamente confiar en el mismo y en consecuencia tratar de realizar sus labores con sistemas paralelos o reducir al mximo su uso, lo que no permite utilizar sus potencialidades. En contraposicin, cuando el usuario tiene el poder de decisin para usar o no el sistema, el uso estar en directa relacin con ladisposicin a usarlo, actitud que es denominada como aceptabilidad y est principalmente en funcin de la utilidad y facilidad de uso percibida del sistema(Davis, 1989). La utilidad percibida se entiende como el grado en que una persona cree que el uso de un sistema
particular podra mejorar el rendimiento de su trabajo (Davis, 1989). Por otro lado, a partir de lo

presentado en el aparte anterior, se puede deducir que la facilidad de uso hace referencia a usabilidad, entendida como la cantidad de esfuerzo que el usuario espera ejercer para utilizar el sistema. Con el objetivo de predecir la aceptacin y uso de nuevas tecnologas, incluyendo sistemas de informacin, Davis desarroll el modelo de aceptacin de la tecnologa (TAM) a partir de la teora de la accin razonada, presentando un gran avance con respecto a esta teora al brindar una metodologa que se puede generalizar al estudio de diferentes situaciones. El modelo TAM es uno de los modelos con mayor reconocimiento actual, siendo uno de los ms citados y usados (Lpez Bonilla & Lpez Bonilla, 2006), el cual ha servido de base para desarrollar otros modelos para predecir la aceptacin y uso de la tecnologa y sistemas de informacin, los cuales contemplaron caractersticas intrnsecas del usuario y variables del entorno; entre los que sobresalen: Modelo motivacional. Teora del comportamiento planeado (TPB). Combinacin modelos TAM y TPB. Modelo de utilizacin del PC. Teora de la difusin de la innovacin. Teora del aprendizaje social.

Posteriormente, ViswanathVenkatesh y otros autores realizaron una investigacin en la cual evaluaron la fiabilidad, pertinencia y validez de las variables utilizadas en el anlisis propuesto por cada uno de los anteriores modelos, llegando a la formulacin del modelo denominado Teora unificada de la aceptacin y uso de la Tecnologa (UTAUT)(Venkatesh, Morris, Davis, & Davis, 2003).

Como variables explicativas de la intencin de uso, el modelo UTAUT propone cuatro variables, las cuales a su vez se encuentran interrelacionadas con determinadas caractersticas intrnsecas del usuario (Diagrama 4). Las variables propuestas son: Rendimiento esperado, entendido como el grado en el cual un individuo cree que el sistema le ayudar a mejorar el rendimiento en su trabajo, para lo cual se toman como constructos los elementos de utilidad percibida, motivacin extrnseca, ventaja relativa y expectativa de productos. Esta variable se encuentra relacionada con el gnero y la edad del usuario. Influencia social, quehace referencia al grado en cual un individuo percibe que es importante para los otros que el use el nuevo sistema. Esta variable se encuentra relacionada con la edad, genero, experiencia y voluntad de uso del usuario. Condiciones facilitativas, que son definidas como el grado en el cual un individuo cree que existe una infraestructura tcnica y organizacional para soportar el uso del sistema. Esta variable est relacionada con la edad y experiencia del usuario. Expectativa de esfuerzo, quehace referencia a la facilidad de uso del sistema y se encuentra dada por la facilidad de uso percibida, complejidad y facilidad de uso. Esta variable se encuentra correlacionada con el gnero, edad y experiencia del usuario.

Diagrama 4. Modelo Teora unificada de la aceptacin y uso de la tecnologa.

(Venkatesh, Morris, Davis, & Davis, 2003) El modelo UTAUT recolecta y analiza datos de usuarios finales a partir de la aplicacin de una lista de verificacin ( ANEXO 1) donde se introducen preguntas para establecer una medida para cada factor del modelo. Esta lista fue probada en estudios empricos siendo capaz de explicar el 70% de las variaciones en las intenciones de los usuarios.

Cabe resaltar que la definicin de la variable expectativa de esfuerzo se asemeja al concepto de usabilidad dado en el presente trabajo. Adicionalmente, las preguntas utilizadas para la medicin de la expectativa de esfuerzo utilizadas en el modelo UTAUT son coherentes con algunos cuestionarios usados para evaluar la usabilidad, los cuales son presentados en el siguiente aparte. No obstante, dado que la usabilidad es slo una de las variables del modelo, el anlisis no se centra en ella y por lo tanto no indaga acerca de variables especficas que la puedan explicar. Finalmente, es necesario resaltar que en el presente estudio se evidenci que la relacin existente entre la experiencia usando el sistema y expectativa de esfuerzo es inversa, lo cual se da porque entre el usuario ms haya utilizado el sistema, se le har ms fcil, an cuando el sistema presente problemas de diseo. Por esta razn para evaluar la usabilidad del sistema y encontrar sus problemas de diseo es mejor desarrollar las pruebas con usuarios inexpertos.

1.4 Evaluacin de la Usabilidad

La usabilidad es un concepto emprico, lo que significa que puede ser medida y evaluada, y por tanto no debe entenderse como un concepto abstracto, subjetivo o carente de significado. De hecho, la usabilidad es un atributo de calidad cuya definicin formal es resultado de la enumeracin de los diferentes componentes o variables a travs de los cuales puede ser medida(Hassan Montero & Ortega Santamara, 2009) .

El proceso de evaluacin de la usabilidad busca a travs de la calificacin de sus componentes, identificar factores a mejorar en elsistema de informacin. El camino para evaluar la usabilidad suele nublarse ante una revisin bibliogrfica de los diferentes medios que en la actualidad se han desarrollado para tal fin, pues en diferentes libros de texto especializados, revistas y normas, hay un continuo uso confuso de trminos como modelo, mtodo, tcnica y herramienta. El presente estudio acoge las definiciones dadas por el profesor RonanFitzpatrick, quien habla de estrategias para evaluar la usabilidad que emplean una variedad de mtodos de evaluacin Y se diferencian en los recursos disponibles en el momento de la evaluacin, los cuales pueden ser Usuarios reales o representativos en una simulacin o usando un Sistema informacin

real(Fitzpatrick, 1999). A partir de la combinacin de los s recursos anteriormente mencionados, se generan cuatro estrategias de medicin de la usabilidad: Ingeniera virtual, en la cual los estudios de usabilidad se realizan con una representacin de los usuarios y del sistema de informacin. Modelado suave, en la cual para el estudio de usabilidad usuarios reales trabajan con prototipos o representaciones del sistema de informacin.

Revisin fuerte, en la cual los estudios de usabilidad se realizan con el sistema real y una representacin de los usuarios. Mundo real, en la cual la evaluacin de la usabilidad se realiza con usuarios reales y el sistema de informacin ya diseado y en funcionamiento.

Las anteriores estrategias se pueden ubicar en una matriz dos por dos (Diagrama 5),generando una medida con alta o baja calidad de acuerdo a los recursos utilizados, de esta forma la medida con mayor calidad se obtiene cuando se trabaja con equipos y usuarios reales.

Alta Revisin fuerte Mundo real

Sistema real

Representacin del sistema

Ingeniera virtual

Modelado suave

Baja Baja Alta

Representacin del usuario

Usuario real

Diagrama 5. Estrategias de medicin de la usabilidad

(Fitzpatrick, 1999) Es necesario aclarar que adicional a la clasificacin anteriormente presentada, se pueden encontrar distintas metodologas de clasificacin de acuerdo a mltiples criterios (Alva Obeso,
2005). Adicionalmente, hay que tener en cuenta que los mtodos no pertenecen exclusivamente a

una estrategia determinada, razn por la cual no se incluyeron en la anterior figura. A continuacin se presentar cada uno de los mtodos ms comunes, describiendo en qu estrategia pueden ser usados. 1.2.1 Test de usuarios

En este mtodo se enmarcan las pruebas que tratan de simular el uso del sistema por parte de usuarios reales o potenciales. Se basa en la observacin de cmo un grupo de usuarios lleva a cabo una serie de tareas encomendadas por el evaluador, analizando los problemas de usabilidad con los que se encuentran (Montero & Fernndez, 2003).

El primer paso para realizar el test de usuarios es analizar hacia qu pblico va dirigido el sistemay el objetivo que tiene. Paso seguido, se procede a establecer una serie de tareas representativas de

las funciones del sistema, las cuales deben cumplir con las siguientes caractersticas (Kuniavsky, 2003): Ser razonables: Es decir, tareas tpicas que un usuario real llevara a cabo. Estar descritas en trminos de objetivos finales: La tarea debe contextualizarse bajo un objetivo o motivacin mayor. Ser especficas: La tarea no puede ser demasiado genrica, sino que debe describir objetivos concretos con el fin de poder comparar los problemas encontrados con los del resto de participantes. Ser factibles: Encomendar al usuario tareas irrealizables no aporta informacin til sobre los problemas reales de usabilidad del sistema de informacin. En estas pruebas lo que se debe evaluar es el diseo a travs de los usuarios, no al contrario. Duracin razonable: Si la tarea requiere demasiado tiempo para ser completada, sera recomendable descomponerla en sub-tareas. Una vez elegidas las tareas a realizar, se procede a elegir las personas que participaran en el ejercicio, los cuales deben tener perfiles acordes a los usuarios reales o potenciales, muestren inters por el tipo de sistema de informacin a evaluar y, de ser posible, que tengan experiencia usando sistemas de informacin de naturaleza similar (Hassan Montero & Ortega Santamara, 2009). Se considera que el nmero apropiado de usuarios para hacer la prueba es cinco, quienes pueden detectar la mayora de problemas relacionados con la usabilidad (Diagrama 6 )(Nielsen J. , 2000):

% Problemas de usabilidad

encontrados

Nmero de usuarios en el test

Diagrama 6. Relacin entre Problemas de usabilidad encontrados y nmero de usuarios

(Nielsen J. , 2000)

El siguiente paso es citar de forma individual a los sujetos de estudio e indicarles las tareas que deben realizar, proceso durante el cual se les observa y se toma registro de lo que sucede, ya sea de manera escrita, grabndolos en video o usando aplicativos desarrollados para dicho fin. Dado que el objetivo del test no es slo identificar en qu se equivoca el usuario, sino adicionalmente

encontrar las razones, se recomienda el uso del protocolo think-aloud o pensamiento en voz alta, en el cual se le pide al usuario que comente en voz alta lo que desarrolla y los inconvenientes que se le presentan; dado que este procedimiento puede afectar al usuario y tropezar el desarrollo de la prueba, en la actualidad se habla del think-aloud retrospectivo, donde el usuario slo comenta el proceso al terminar. El principal limitante de este mtodo es que al realizar las pruebas en un ambiente controlado, los resultados pueden ser distintos al mundo real. Adicionalmente, es una tcnica que presenta un alto costo dado que se tienen que capacitar a los evaluados y el largo tiempo que se tiene que dedicar a la prueba. Sin embargo, el coste de las pruebas con usuarios se justifica por el retorno de inversin derivado (Hassan Montero & Ortega Santamara, 2009). 1.2.2 Cuestionarios

Los cuestionarios son un conjunto de preguntas con respuesta cerrada que buscan conocer la percepcin del usuario acerca de la facilidad de uso del software. Los cuestionarios ms comunes se presentan a continuacin(Granollers & Lors): 1.2.2.1 Cuestionario de satisfaccin de interaccin del usuario (QUIS) El Quis (por sus siglas en Ingls -QuestionnaireforUser Interface Satisfaction-) fue desarrollado en los aos 80 por el laboratorio de Interaccin Humano Computador de la Universidad de Maryland,
EE.UU, como una herramienta orientada a medir la satisfaccin subjetiva de los usuarios con

respecto a aspectos especficos de la interfaz usuario/computador, a travs de la valoracin de cinco factores especficos en una escala del uno al nueve (Diagrama 7) (Alva Obeso, 2005):

Diagrama 7. Estructura de usabilidad de QUIS

(Alva Obeso, 2005) Factor 1: Reaccin global al sistema, para ello emplea preguntas como 'terrible' vs. 'frustrado', 'lnguido vs. estimulante', etc. No trata caractersticas especficas de la interfaz utilizada ni la interaccin.

Factor 2: Factores de pantalla, esto hace referencia a las caractersticas del nivel lxico de la interfaz como por ejemplo las fuentes y negrita, la lgica de la interfaz, la secuencia de pantallas, el control del usuario, la recuperacin despus del error. La compatibilidad de secuencias operacionales se trata de una manera muy detallada. Factor 3: Terminologa y sistema de retroalimentacin, para medir la inteligibilidad de los mensajes con las preguntas relacionadas. Factor 4: Factores de aprendizaje, referido a la experiencia de aprendizaje y tambin a las caractersticas especficas del sistema tales como realimentacin, lgica de secuencias y posibilidad de intuir. Factor 5: Capacidades del sistema, referido a las experiencias del usuario con respecto a la velocidad del funcionamiento, de la confiabilidad, del ruido, de las capacidades de gestin de error y de la flexibilidad del sistema. Las preguntas a travs de las cuales se cuantifica la satisfaccin del usuario con respecto a los anteriores factores se presentan en el ANEXO 2. 1.2.2.2 Escala de usabilidad del sistema (SUS - SystemUsabilityScale) Este cuestionario desarrollado en Digital Equipment Corp. por John Brooke, consiste en diez preguntas cuyas respuestas se encuentran en una escala de uno a cinco, donde 1 es fuertemente en desacuerdo y 5 es fuertemente de acuerdo (ANEXO 3). 1.2.2.3 Cuestionarios desarrollados por IBM (Lewis, 1995) La compaa estadounidense IBM, dedicada a la produccin de software y hardware, entiende la Usabilidad como uno de los atributos claves que definen la calidad de sus productos. De esta manera, con el objetivo de presentar a sus clientes productos de la ms alta calidad, IBM ha realizado grandes esfuerzos aplicando mtodos psicomtricos para el desarrollo de cuestionarios que midan la usabilidad subjetiva (Lewis, 1995). Los principales cuestionarios desarrollados son: El cuestionario de escenario posterior (TheAfter-ScenarioQuestionnaire ASQ-): Es un cuestionario diseado para recoger la respuesta inmediata del usuario despus de una tarea en una prueba de Usabilidad. Este cuestionario establece una serie de preguntas para medir los siguientes atributos: Facilidad de terminacin de tarea, tiempo para completar la tarea y adecuacin del sistema de soporte. Las respuestas del cuestionario se encuentran en una escala de Lickert de 1 a 7, donde 1 hace referencia a fuertemente de acuerdo y 7 es fuertemente en desacuerdo.

El cuestionario de escenario de impresin (ThePrinterScenarioQuestionnaire PSQ): Fue el cuestionario precursor del ASQ y tena como objetivo medir la experiencia del usuario con la impresin de un escenario determinado. El cuestionario a travs de una escala de 5 puntos evaluaba los siguientes criterios: Facilidad de terminacin de tarea, tiempo para completar la tarea y satisfaccin con las instrucciones. Cuestionario de post estudio de usabilidad del sistema (The Post-

StudySystemUsabilityQuestionnaire PSSUQ-): Es un cuestionariocompuesto por 19 tems para evaluar la satisfaccin del usuario con la usabilidad del sistema; es resuelto al final del estudio de usabilidad y brinda una visin global del sistema usado. Cuestionario de usabilidad del sistema computacional

(TheComputerSystemUsabilityQuestionnaire CSUQ-): Es un cuestionario que va de la mano con el PSSUQ y permite a los usuarios expresar su satisfaccin con la usabilidad del primer sistema de computacin. Especficamente evala la facilidad de uso del sistema y el aporte del mismo para el desarrollo de las tareas por parte del usuario. Al aplicar el cuestionario ASQ y el cuestionario PSQ para evaluar la usabilidad de diferentes sistemas con diferentes condiciones, se encontr que los resultados fueron similares, razn por la cual se pueden generalizar los resultados, lo mismo sucede con los cuestionarios PSSUQ y CSQ. (Lewis, 1995). La principal ventaja de los cuestionarios es que al ser de carcter cuantitativo permiten realizar inferencias acerca del comportamiento de la poblacin siempre y cuando se escoja una muestra significativa de forma aleatoria. Adicionalmente, el estandarizar las medidas a travs de cuestionarios provee como ventajas: objetividad, cuantificacin, comunicacin, economa y generalizacin cientfica(Lewis, 1995). No obstante, el aplicar cuestionarios cuya respuesta es de forma cerrada, se pueden obviar otras opciones que para el usuario son importantes. En adicin, los cuestionarios miden nicamente la satisfaccin del usuario con respecto al sistema, cuando la satisfaccin es slo uno de los parmetros de la usabilidad. 1.2.3 Evaluacin heurstica

Este mtodo fuepropuesto por el profesor JakobNielsen en 1990, consiste en que un conjunto de evaluadores expertos revisan de manera individual la interfaz del sistema de acuerdo a los siguientes principios(Nielsen-b):

Visibilidad del Estado del Sistema

Lenguaje de los usuarios Control y libertad para el Usuario Consistencia y Estndares Ayuda a los usuarios para Reconocimiento, Diagnstico y Recuperacin de errores Prevencin de errores. Reconocimiento antes que memorizacin Flexibilidad y eficiencia de uso Esttica de dilogos y Diseo minimalista Ayuda general y documentacin

Para una mayor fiabilidad de los resultados, es necesaria la participacin de diferentes evaluadores, quienes slo hasta terminar de forma individual la evaluacin, podrn comunicar sus resultados a los otros, esto con el fin de evitar sesgos(Nielsen J. , 2003). Un experimento que evidencia la importancia de contar con un grupo de evaluadores fue un caso de estudio en el sistema bancario donde se cont con 19 evaluadores para encontrar 16 problemas de usabilidad y cada uno encontr distintos problemas (Diagrama 8).

Fracaso

Evaluadores xito DifcilFcil Problemas de Usabilidad

Diagrama 8. Resultados caso de estudio sistema bancario

Nielsen(1992)

No obstante, el nmero de evaluadores no tiene que ser tan elevado, ya que como se puede observar en el Diagrama 9, entre 3 y 5 evaluadores detectan el 75% de los problemas de usabilidad de un sistema.

problemas Proporcin de

de usabilidad encontrados

Nmero de evaluadores
Diagrama 9. Efectividad de los evaluadores

(Nielsen J. , 2003) La evaluacin heurstica presenta como ventajas un bajo costo, un tiempo de procesamiento menor que los test porque es ms fcil de organizar dado que no necesita de gran capacitacin y que los evaluadores no necesariamente deben ser expertos en usabilidad.

Por otro lado, las desventajas de aplicacin de esta metodologa radican en que si se quieren optimizar los resultados, se debe capacitar ampliamente a los evaluadores, lo que genera un sobrecosto. Adicionalmente, la evaluacin heurstica detecta principalmente slo los problemas menores, dado que los evaluadores expertos tienen conocimientos muy por encima de un usuario promedio hacia el que va dirigido el sistema.

1.2.4

Herramientas de software

Con el objetivo de reducir costos y optimizar el anlisis de los mltiples factores a tener en cuenta en la evaluacin de la usabilidad, en la actualidad se han desarrollado diferentes herramientas de software. A continuacin, se presentan las ms relevantes: 1.2.4.1 SUMI El software SUMI (Software UsabilityMeasurementInventory) fue desarrollado en marco del proyecto MUSIC (MetricsforUsabilityStandards in Computing), el cual es un proyecto europeo desarrollado por el grupo de investigacin en factores humanos de la Universidad CollegeCork, cuyo principal objetivo es desarrollar mtodos para medir el rendimiento a partir de la medicin de la calidad de uso y con ello dar soporte a los mtodos de la Ingeniera de la Usabilidad (Granollers & Lors).

Esta herramienta se compone de una validacin de 50 tems, los cuales deben ser calificados en una escala de tres puntos: De acuerdo, indeciso o en desacuerdo. Los resultados que SUMI proporciona estn basados en una extensa base de datos estandarizada que consta de perfiles de usabilidad de ms de 2000 diferentes clases de aplicaciones tales como: procesadores de textos, hojas de clculo, paquetes CAD, programas de comunicaciones, etc. A partir de las respuestas obtenidas mediante esta herramienta y mediante el uso de conceptos estadsticos puede calcularse el valor de la usabilidad del producto(Alva Obeso, 2005).

La calificacin se divide en las siguientes sub-escalas (Alva Obeso, 2005):

Eficiencia: Grado en el cual el usuario puede lograr las metas de su interaccin con el producto en una manera directa y oportuna. Afectividad: Medida en la cual el producto captura las respuestas emocionales del usuario. Utilidad: Grado en el cual el producto ofrece asistencia al usuario. Control: Grado en el cual el usuario siente que l, y no el producto, es el que marca el paso. Aprendizaje: Facilidad con la cual el usuario consigue comenzar a utilizar el producto, as como aprender nuevas caractersticas del mismo.

SUMI es el nico mtodo desarrollado, validado y estandarizado sobre la base europea. Las subescalas SUMI estn siendo referenciadas en el estndar ISO 9241-10 dialogue principles y el ISO 9126 Software productevaluation(Alva Obeso, 2005). Esta herramienta est disponible en siete lenguajes: ingls (americano y britnico), francs, alemn, holands, espaol, italiano, griego y sueco. Adicionalmente, otra ventaja que presenta es que sirve tanto para comparar un producto con otro como para comparar diferentes versiones del mismo. 1.2.4.2 PROKUS PROKUS (Program system zurKommunikationsergonomischenUnterSuchungrechneruntersttzerVerfahren Program system to communication ergonomic examination of computer-aided procedures) esun software desarrolladopor el Laboratorio del Instituto de Ingeniera Humana e Industrial de la Universidad de Karlsruhe (Alemania). Para medir la usabilidad se basa en la ergonoma cmo criterio de calidad principal, concretamente en el estndar ISO 9241-10, que especifica los principios de dilogo de los terminales visuales en trminos ergonmicos (Granollers & Lors).

Los encargados de realizar la evaluacin utilizando esta herramienta son evaluadores expertos que comienzan respondiendo una serie de preguntas contenidas en un catlogo. Finalmente, los datos medidos pueden ser comparados con la definicin de los requisitos del propio sistema o inclusocompararlos con los requisitos de otros sistemas como por ejemplo los de la competencia.

El elemento central de la herramientaes el Exerciser'sdatabase que consiste en un conjunto de diferentes series de investigaciones constituidas por preguntas (Diagrama 10) (ZLCH & STOWASSER, 2000).Cada pregunta es descrita usando los siguientes elementos:

Criterio: Representa el criterio de usabilidad sobre el cual se focaliza la pregunta, el cual puede provenir de los principios descritos en la ISO 9241-10. Componente: Representa la caracterstica esencial del software a evaluar. Tarea: Describela funcin o propsito del software acuerdo a la caracterstica evaluada. Mtodo: Representalas diferentes pruebas y mtodos de evaluacin con los cuales el experto puede evaluar el software y medir los datos requeridospara responder la pregunta.

Diagrama 10. La herramienta de evaluacin PROKUS.

(ZLCH & STOWASSER, 2000)

Pregunta No.: Texto corto: Componente: Criterio:1. Clase de pregunta Mtodo:2. Clase de pregunta Tarea: 3. Clase de pregunta Pregunta: Escala:

Min No

Max Si

Diagrama 11. Forma para el ingreso de una pregunta a PROKUS

(ZLCH & STOWASSER, 2000)

Segn Zlch&Stowasser esta evaluacin se puede observar desde diferentes perspectivas a travs del de vida del software ( Diagrama 12). En primer lugar, desde la visin del desarrollador el software se evala durante el proceso de desarrollo para una correcta eleccin de la interfaz. Luego, las pruebas de calidad, evalan principalmente la funcionalidad del producto y finalmente, las pruebas de conformidad contrastan el producto con estndares preestablecidos. Por otro lado, desde la visin de los clientes o futuros usuarios, se practican pruebas de comparacin entre el producto y sus similares en el mercado para una correcta eleccin, para lo cual tambin hacen uso de las pruebas de conformidad. Finalmente, cuando el producto esta seleccionado, se le realizan las pruebas de usabilidad (ZLCH & STOWASSER, 2000).

Diagrama 12. Visiones evaluacin del software

(ZLCH & STOWASSER, 2000)

1.2.4.3 DRUM DRUM (DiagnosticRecorderforUsabilityMeasurement) es un software diseado para el anlisis de video. Fue desarrollado en NPL (NationalPhysicalLaboratorydel DITC HCI Group-U.K) en marco del proyecto ESPRIT Project 5429 que forma parte del ya mencionado proyecto MUSIC.

DRUM es una herramienta diseada para soportar los estudios observacionales de usabilidad, permitiendo reducir de dos a tres horas de video en una sola, lo que es muy importante, ya que reduce el tiempo y esfuerzo de anlisis, permitiendo aprovechar toda la evidencia que deja la grabacin en video del desarrollo de tareas o de entrevistas con usuarios (Macleod & Rengger). Las principales caractersticas de esta herramienta son las siguientes(Alva Obeso, 2005): Soporta evaluacin cuantitativa. Tiene una amplia aplicabilidad asistiendo a la generacin y entrega de diagnstico de retroalimentacin, proporcionando a los diseadores problemas potenciales derivados del anlisis de datos. Soporta la administracin y anlisis de evaluaciones de usabilidad. Identifica incidentes crticos definidos por el evaluador para diagnstico de la evaluacin.

En la actualidad, los dems mtodos para medir la usabilidad se apoyan en las herramientas de software en un 33% (IVORY & HEARST, 2001), dado que estas herramientas le brindan una mayor robustez al anlisis.

No obstante, el uso de software para la medicin de usabilidad es un proceso costoso por lo que se deben hacer cuidadosos anlisis de costo/beneficio antes de implementarlo y tambin hay que tener en cuenta que el software por si slo deja de lado informacin cualitativa y subjetiva que puede ser relevante a la hora de identificar los problemas de usabilidad en un sistema.

A continuacin, en la Tabla 1 se presenta una sntesis de las caractersticas de los mtodos explicados anteriormente:

Tabla 1.Principales mtodos de medicin de la usabilidad.

Test de usuarios Estas pruebas se basan en la observacin de cmo un Cuestionarios Se disea un una serie de preguntas, cada una de las cuales debe Evaluacin Heurstica La evaluacin heurstica es un procedimiento en el cual un conjunto de evaluadores expertos examinan y juzgan de manera individual la interfaz del sistema de acuerdo a unos principios de usabilidad reconocidos (la "heurstica"). Software Con el fin de reducir costos y optimizar el anlisis, en la actualidad se han desarrollado programas que miden la

grupo de usuarios llevan a Descripcin cabo una serie de tareas encomendadas evaluador, por el los

responderse escogiendo una opcin nica entre un rango de respuestas preestablecidas, otra forma es calificar un aspecto de acuerdo a una escala establecida.

usabilidad a partir de criterios previamente establecidos

analizando

problemas de usabilidad con los que se encuentran. Permite un acercamiento a la interaccin del usuario con el Ventajas sistema en el mundo real

Permite conocer la percepcin de los usuarios en el mundo real. Bajo costo. Ante una buena eleccin de la muestra se pueden generalizar las conclusiones.

Da un punto de vista tcnico acerca de la usabilidad del sistema

Reduce costos en el largo plazo. Aumenta la robustez de la evaluacin.

Presenta financiero, esfuerzo.

un de

alto

costo y

Solo miden el factor de satisfaccin del usuario. Al ser preguntas de respuesta cerrada puede obviar opciones importantes para el usuario. Existe una fuerte dependencia entre los resultados obtenidos y la muestra de usuarios escogidos

Puede

identificar

como

un

problema

de

Poco accesible Para absorber los costos de desarrollo se debe tener una alta expectativa de ganancia.

tiempo

usabilidad aquello que realmente no lo es y obviar los problemas importantes, dada la experticia de los evaluadores en comparacin con las habilidades del usuario promedio. Para optimizar el uso de la herramienta es necesaria la contratacin y capacitacin

Probabilidad de falsedad de Limitaciones las observaciones al usuario presentar las pruebas en un ambiente controlado.

exhaustiva de diferentes evaluadores, lo que aumenta su costo.

Mundo real Estrategia Modelado suave

Mundo real Modelado suave

Revisin fuerte Ingeniera virtual

Revisin fuerte Ingeniera virtual Mundo real Modelado suave

Como se puede observar, no hay un mtodo perfecto, razn por la cual se deben disear mecanismos que permitan la combinacin entre diferentes mtodos para que las ventajas de uno supla las deficiencias del otro. Por ejemplo, estudios recientes en el rea de Interfaces humano computadora indican que los test de usabilidad muestran dnde estn los problemas, mientras que el anlisis heurstico es ms eficiente para proponer posibles soluciones (Mercovich, 1999). De la misma forma, los test de usuarios suplen la deficiencia del software de no percibir la actitud del usuario frente al sistema.

1.2.5

Proyectos integrados

Por proyectos integrados se entienden las iniciativas quemezclan diferentes mtodos de medicin para tener una visin ms global acerca de la usabilidad de un software. A continuacin, se presentan las ms relevantes. 1.2.5.1 MUSIC El proyecto MUSIC (MetricsforUsability Standard in Computing)es un proyecto que ha sido trabajado en conjunto con la industria y busca desarrollar mtodos y herramientas para la especificacin y medicin de la usabilidad (Bevan & Macleod, 1994). Para la aplicacin del mtodo MUSICse comienza pidiendo a determinados usuarios que realicen ciertas tareas bajo un ambiente controlado. Para el registro del desarrollo de dichas tareas se utiliza el software DRUM (DiagnosticRecorderforUsabilityMeasurement) que como se explic anteriormente, graba en video el desarrollo de las tareas y permite un mejor anlisis en un menor tiempo. Posteriormente, se seleccionan usuarios y a travs del software SUMI (Software

UsabilityMeasurementInventory) se mide el confort y la aceptabilidad del producto por parte del usuario(Alva Obeso, 2005). Adicionalmente, este mtodo permite cuantificar el esfuerzo mental requerido en el usuario para ejecutar la tarea, lo cual se puede medir de manera subjetiva a travs de los cuestionarios SMEQ y TLX; y de manera objetiva a travs del monitoreo de signos vitales durante la realizacin de diferentes tareas(Alva Obeso, 2005). 1.2.5.2 UWIS UWIS (Usability Web-basedinformationsystems) es un mtodo propuesto porAsilOztekin, Alexander Nikov ySelimZaim en el ao 2009; como su nombre lo indica es una metodologa para la evaluacin de la usabilidad de los sistemas de informacin basados en la Web.

El proceso de evaluacin parte de la recoleccin de los datos de los usuarios finales de acuerdo a unos criterios establecidos previamente, para luego hallar una medida de usabilidad global. En caso de que la medida de usabilidad no sea satisfactoria, se procede a encontrar un modelo que explique la relacin entre los criterios establecidos y el ndice de usabilidad, para luego identificar los criterios en los que radican los problemas de usabilidad (Diagrama 13).
Detener el proceso de evaluacin de la usabilidad

Comienzo del proceso de evaluacin de la usabilidad

Recolectar datos de usuarios finales

Medida de la usabilidad global

El puntaje de usabilidad es satisfactorio?

Mejorar el sistema de informacin basado en la Web

Encontrar el mejor modelo que explique las relaciones

Realizar anlisis de sensibilidad sobre el mejor modelo.

Calcular el ndice de gravedad de puntos de la lista de verificacin

Aplicar anlisis de Pareto.

Cules son los puntos crticos?

Diagrama 13. Estructura general metodologa UWIS

(Oztekin, 2011)

La recoleccin de los datos de los usuarios finales se hace a travs de una lista de verificacin enfocada a evaluar la calidad y usabilidad de los WIS por medio de una serie de preguntas que evalan las siguientes dimensiones (

ANEXO 4):

Confianza. Seguridad.

interaccin (responsiveness). Integracin de la comunicacin. Navegacin. Calidad de la informacin Control

Adicionalmente, el usuario debe desarrollar una serie de tareas con el objetivo de medir los criterios de efectividad, eficiencia y satisfaccin. La efectividad es medida a travs del porcentaje de tareas completadas, mientras la eficiencia es medida a travs del tiempo en minutos empleado en la realizacin de las mismas. Finalmente, la satisfaccin es calificada en una escala de 5 puntos(Oztekin, 2011). Luego de capturar los datos de los usuarios finales, se calcula el ndice crtico utilizando la siguiente frmula:

Ecuacin 1. ndice Crtico

(Oztekin, 2011) Una vez calculado el ndice, se analiza si es satisfactorio. En caso de que lo sea, se termina el procedimiento, de lo contrario se procede a realizar una estimacin del ndice en funcin de las dimensiones,a travs de las siguientes tcnicas: Regresin lineal mltiple. rboles de decisin. Redes neuronales. Mquinas de soporte vectorial.

Finalmente, se procede a realizar un anlisisde Pareto con el fin de identificar las dimensiones de la usabilidad que ms inciden en los problemas detectados.

2. CASO DE ESTUDIO
En este aparte se presentan los resultados de un estudio sobre la usabilidad el software OpenERP, el cual se realiz recogiendo las percepciones de usuarios inexpertos, usuarios expertos y desarrolladores del software. A continuacin, se presenta una descripcin del software y del ejercicio para medir su usabilidad, al igual que las principales conclusiones de dicha medicin desde una perspectiva dimensional.

2.1 Software OpenERP.

Los sistemas de planeacin de recursos empresariales(ERP por sus siglas en ingls) son sistemas de informacin gerencial integrados que permiten a la organizacin gestionar de manera eficiente y eficaz sus areas de negocio (finanzas, ventas, produccin, recursos humanos, entre otras) a travs de la centralizacin y procesamiento de su informacin. (Al-Fawaz, Al-Salti, & Eldabi, 2008). El software OpenERPes un aplicativo desarrollado bajo la filosofa de open source, que utiliza para el manejo de las bases de datos el lenguaje SQL. El sistema funciona bajo licencia libre, multiplataforma y se puede usar mediante interfazweb o aplicacin de escritorio (Diagrama 14). Mdulos XML-RPC Servidor OpenERP Net- RPC Cliente escritorio Gtk, Koo

Net-RPC Cliente Web http

Diagrama 14. Estructura OpenERP

Postgres D.B

Navegador Web

2.2 Red Wings

El anlisis de la usabilidad del software OpenERP se realiz en la empresa Red Wings, PYME colombiana, creada en 2004, que pertenece al sector alimenticio y cuyo objeto social es preparar y distribuir comida rpida americana a domicilio. A travs de sus primeros aos, la empresa tuvo un

gran crecimiento organizacional y para poder obtener el capital para expandirse, se abrieron al modelo de negocio de franquicias en ao 2009, con lo cual amplio su cubrimiento a toda Bogot. Posteriormente, la empresa trabaj con FOMIPYME para poder lograr la estandarizacin de sus procesos productivos.

A partir del trabajo con FOMIPYME, el Grupo de Investigacin en Gestin y Organizaciones (GRIEGO) de la Universidad Nacional les propuso la implementacin del sistema OpenERP, con el fin que centralizaran el manejo de la informacin y lograr un mejoramiento en el control, planeacin y ejecucin de los procesos de negocio. Este proyecto de implementacin inici en el mes de abril de 2010, con la educcin de informacin, seguido de la adaptacin del software y la capacitacin a al personal de la empresa. El proceso de implementacin termin en febrero del presente ao y actualmente el sistema funciona va internet y utiliza los servidores de la universidad para alojar la aplicacin y la base de datos. Los mdulos con los que actualmente cuenta el programa son:

Mdulo de Ventas: A travs de este mdulo se registran las ventas de los productos de la empresa y se generan las facturas correspondientes, afectando el sistema de inventarios y el sistema contable. Aprovechando la flexibilidad de la estructura del software, se desarroll especficamente para Red Wingsuna opcin de proyeccin de ventas basada en los datos histricos.

Mdulo de Compras: En el mdulo de compras se registran las transacciones realizadas con los proveedores de materias primas y de algunos productos que se venden pero no se elaboran en la empresa. Esta informacin actualiza el sistema de inventarios y el sistema contable.

Mdulo de Produccin: Este mdulo permite generar programaciones para la elaboracin de los productos que se procesan en la empresa, afectando la informacin de inventario. Mdulo de Inventarios: Este mdulo permite llevar el control de inventarios de materias primas como de productos elaborados en la empresa. Mdulo Contable y Financiero: Registra los movimientos contables de la organizacin, cumpliendo con los requisitos de ley exigidos para este tipo de empresas acorde a la legislacin colombiana.

El sistema OPEN ERP es altamente parametrizable y la versin que se encuentra instalada en Red Wings ha sido ajustada para adaptarla al mbito colombiano y adicionar funcionalidades requeridas por la empresa1.

Adaptado de (Rodrguez, Franco, & Aparicio, 2011).

2.3 Metodologa utilizada.

Para la evaluacin de la usabilidad el Software OpenERP se adapt el cuestionario utilizado en la metodologa UWIS para recolectar las percepciones de usuarios y desarrolladores del software; tcnica que fue complementada con entrevistas a profundidad que tenan por objetivo identificar dimensiones no contempladas en el cuestionario inicial y analizar los componentes usuario y contexto de uso, elementos que juegan un papel vital en la percepcin de la usabilidad de un sistema. Se escogi el cuestionario desarrollado en la metodologa UWIS porque combina la calidad del servicio basado en web y las dimensiones de los principios heursticos de usabilidad. Para la aplicacin del cuestionario contemplado en la metodologa WIS el primer paso fue llevar a cabo su traduccin(Diagrama 15), proceso que cont con la participacin de diferentes traductores, garantizando de esta forma un alto grado de fiabilidad y precisin.

Traduccin a espaol por parte de los autores

Envo del texto en ingls a diferentes personas para traducirlo a espaol

Encuesta (ANEXO 5)

Envio del texto traducido a diferentes personas para traducirlo de nuevo a ingls

Consolidacin y comparacin de las traducciones recibidas

Diagrama 15.Proceso traduccin encuesta.

A partir del cuestionario traducido se procedi a evaluar la pertinencia de cada pregunta para la evaluacin especfica de la usabilidad del software OpenERP, encontrando que dadas las caractersticas del sistema, no eran pertinentes las siguientes preguntas: Los sistemas deautorrespuesta y de correo electrnico le avisan al usuario cuando el servicio ser ejecutado? Los mensajes de seguridad y las notificaciones de correo electrnicoestn configurados en el sistema?

Las respuestas por correo electrnico, automticas o manuales, o las pginas de servicio le brindan pronta atencina los usuarios? Hay sistemas de correo electrnico, interno o externo, para lidiar con las quejas del usuario? Una vez establecidas las preguntas relativas a las dimensiones de la usabilidad del software, se procedi a agregar al cuestionario preguntas que permitieran la caracterizacin del encuestado con el fin de establecer la relacin entre la percepcin de usabilidad y las caractersticas del usuario, consolidando el cuestionario que se presenta en el ANEXO 6, el cual fue aplicado a los siguientes grupos muestrales: Usuarios expertos Integrantes del grupo de investigacin GRIEGO que tienen una lnea de investigacin en el desarrollo del software OpenERP, quienes como se mencion anteriormente,

acompaaron el proceso de implementacin del software en la empresa RedWings de Colombia adaptndolo a sus necesidades especficas. Empleados de la empresa RedWingsdondeactualmente utilizan el software OpenERP.

Usuarios inexpertos Estudiantes de pregrado en administracin de empresas de la Universidad Nacional que actualmente cursan la asignatura sistemas de informacin gerencial, materia dentro de la cual en una clase inicial se les ense a usar el software OpenERP y en la clase posterior de tipo prctica hicieron un ejercicio real, espacio en el cual se aplic la encuesta. Estudiantes de posgrado de la Maestra en Administracin de Empresas de la Universidad Nacional de Colombia que actualmente cursan la asignatura sistemas de informacin gerencial, materia dentro de la cual en una sesin se les ense a manejar el software, ocasin en la que se les aplic la encuesta. Adicionalmente, a los integrantes del grupo GRIEGO y a los empleados de RedWings de Colombiase les realiz una entrevista a profundidad que comenzaba indagando el concepto de usabilidad para la persona y las caractersticas que deba tener un sistema de informacin para ser usable con el fin de establecer un lenguaje en comn. Posteriormente, se exploraba acerca delas caractersticas del usuario encuestado y su percepcin sobre la usabilidad del software OpenERP. Por otro lado, a estos dos grupos tambin se les evalu el tiempo necesario para el desarrollo de las siguientestareas: Cambiar el lenguaje del sistema, cambiar el nombre de la empresa y generar un reporte de las tareas pendientes.

2.4 Resultados
El anlisis de la informacin recolectada en las encuestas comienza presentando una evaluacin de la fiabilidad de las dimensiones construidas en el cuestionario aplicado a partir del el estadstico alfa de cronbach, para luego a travs de un anlisis factorial establecer las dimensiones que tienen mayor importancia y finalmente se presentan los resultados ms sobresalientes a nivel de

dimensiones discriminados por grupo muestral. Posteriormente, se analizan los resultados obtenidos en cada pregunta. Los anteriores anlisis de tipo cuantitativofueron complementados con la informacin cualitativa recolectada en las encuestas a profundidad realizadas a los integrantes del grupo GRIEGO y los empleados de la empresa Redwings.

2.5 Evaluacin Fiabilidad Dimensiones.

Con el objetivo de establecer el grado de validez de la agrupacin de las preguntas propuesta por la metodologa WIS, para analizar la usabilidad del sistema OpenERP desde una perspectiva dimensional, se calcul el estadstico alfa de cronbach (Tabla 2). En los resultadosobtenidos podemos observar que las dimensiones interaccin, calidad de la informacin y seguridad presentan un valor para el ndice superior a 0.7, lo que indica una alta validez de la agrupacin. De la misma forma, las dimensiones confianza y control presentan valores cercanos a 0.7, lo que tambin indica su validez.

Por otro lado, la dimensin de navegacin, aunque presenta un valor bajo en comparacin con las dems dimensiones, se encuentra en un rango de validez media (0.4-0.7), por lo que tambin se considera vlida la agrupacin de esta dimensin para el caso especfico de OpenERP.
Dimensin Estadstico alfa de cronbach2

Confianza Seguridad Interaccin Integracin Navegacin Control Calidad de la informacin

0,696 0,717 0,812 0,603 0,424 0,667 0,705

Tabla 2. Estadstico alfa de cronbach.

ndice calculado con el programa SPSS.

2.6 Anlisis factorial

Una vez validada la construccin de las dimensiones se procedi a realizar un anlisis factorial con el objetivo de establecer cules de ellas presentaban mayor incidencia en la percepcin global de usabilidad, para lo cual se comenz por evaluar la pertinencia de esta metodologa a travs de la prueba KMO (Kyser- Meyer-Oklin) y la prueba de esfericidad de Bartlett (Tabla 3). El estadstico KMO contrasta que las correlaciones parciales sean pequeas y entre mayor sea indica que es adecuado usar la metodologa como en este caso, pues el indicador siempre oscila entre 0 y 1. Por otro lado, La prueba de Bartlett contrasta si la matriz de correlaciones es una matriz identidad como hiptesis nula, es decir, que las variables estn incorreladas; siendo necesario para la aplicacin de esta metodologa que se rechace la hiptesis nula como se da en el presente estudio.
Medida de adecuacin muestral de Kaiser-Meyer-Olkin. Prueba de esfericidad de Bartlett Chi-cuadrado aproximado Gl Sig.

,641 425,458 190 ,000

Tabla 3. KMO y prueba de Bartlett3

Despus de validada la pertinencia de la metodologa de anlisis factorial para el caso de estudio se procedi a aplicarla, utilizando el mtodo de extraccin de componentes principales con rotacin bajo el mtodo varimax. En la tabla de comunalidades obtenida de los resultados (Tabla 4) se aprecia que para cada variable, el modelo factorial obtenido explica ms del 60% de su varianza, lo que reafirma la robustez y validez del anlisis.
Componente El sistema gua de forma suficiente a nuevos usuarios? Las Respuestas a Preguntas Frecuentes ayudana los usuarios aresolver los problemas por ellos mismos? El uso de terminologa, grficas y menses consistente a travs de todo el sistema? La ayuda necesaria es provista acualquiermomento (por ejemplo, ttulos de las ventanas, las instrucciones para proceder)? Los registros innecesarios han sido evitados? El tono de los mensajes es lo suficientemente cortes? Es posible reemplazar o restaurar fcilmente opciones configuradas por defecto? Existeunaorganizacin jerrquica de la informacin de lo general a lo especfico? La informacin contenida en el sistema es actual, oportuna, precisa y relevante? Los botones de control relevantes estn representados en la pantalla y es claro su funcionamiento? La terminologa y las abreviaturas formanparte del lenguaje tcnico del usuario? Han sido provistas herramientas para regresar al nivel superioren cualquier etapa (por ejemplo, enlaces a la pgina de inicio)? La interaccin puede ser interrumpida en cualquier momento por medio de salidas definidas claramente, haciendo posible continuar ms tarde? La funcionalidad de los botones en el dispositivo se infiere a partir de su etiqueta? Inicial 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Extraccin ,799 ,889 ,841 ,665 ,740 ,803 ,635 ,859 ,851 ,732 ,859 ,715 ,680 ,707

Ibd.

Hay algn tipo de ayuda para la navegacin (ejemplo: barra de bsqueda)? Ha sido evitada la aparicin denuevas ventanas de bsqueda innecesarias? El sistema puede determinardnde estaba el usuario la ltima vez que entr a la sesin (y cualquier progreso hecho)? La complejidad de una tarea es acorde con el tiempo de ejecucin de la misma(planeacin, ejecucin, correccin de un error)? El sistema hace que el trabajo del usuario sea ms fcil y rpido que sin la ayuda del sistema? La informacin ofrece opciones para cambiar el idioma?

1,000 1,000 1,000 1,000 1,000 1,000

,701 ,717 ,731 ,753 ,754 ,628

Al revisar la matriz de la varianza total explicada (Tabla 5) se observa que de los veinte componentes extrados (por ser el total de variables) slo seis presentan un autovalor mayor a uno, por lo que de acuerdo a la regla de kiser son los nicos que se toman como significativos. Estos seis valores explican el 75.294% de la varianza total.

Autovalores iniciales Componente Total 1 2 3 7,563 2,172 1,684 % de la varianza 37,817 10,860 8,422 % acumulado 37,817 48,677 57,099

Sumas de las saturaciones al cuadrado de la extraccin Total 7,563 2,172 1,684 % de la varianza 37,817 10,860 8,422 % acumulado 37,817 48,677 57,099

Tabla 4. Tabla de comunalidades 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 1,485 1,119 1,035 ,871 ,778 ,578 ,520 ,437 ,396 ,313 ,252 ,236 ,205 ,161 ,113 ,045 ,036 7,424 5,596 5,176 4,353 3,889 2,890 2,602 2,184 1,979 1,567 1,258 1,181 1,025 ,806 ,563 ,227 64,523 70,118 75,294 79,647 83,537 86,427 89,028 91,212 93,191 94,758 96,017 97,198 98,223 99,029 99,592 99,819 1,485 1,119 1,035 7,424 5,596 5,176 64,523 70,118 75,294

,181 100,000 Tabla 5. Varianza total explicada

El primer componente explica el 37.817% de la varianza total y agrupa todas las preguntas de las dimensiones de la calidad de la informacin y de control (Tabla 6), teniendo mayor peso en el

componente la pregunta 6.2 que hace referencia a la capacidad que tiene el sistema para regresar a un nivel superior. Por otro lado, el segundo componente slo explica el 10,8% de la varianza y agrupa algunas preguntas de las dimensiones interaccin, seguridad y confianza(Tabla 6), teniendo mayor peso la pregunta que hace referencia a la consistencia en el uso de terminologa, grficos y mens a travs de todo el sistema.

Pregunta
Pregunta 1 Pregunta 2 Pregunta 3 Pregunta 4 Pregunta 5 Pregunta 6 Pregunta 7 Pregunta 8 Pregunta 9 Pregunta 10 Pregunta 11 Pregunta 12 Pregunta 13 Pregunta 14 Pregunta 15 Pregunta 16 Pregunta 17 Pregunta 18 Pregunta 19 Pregunta 20

Dimensin 1
Confianza Confianza Confianza Seguridad Seguridad Seguridad Seguridad interaccin interaccin comunicacin comunicacin comunicacin Navegacin Navegacin Navegacin Control Control calidad calidad calidad ,046 ,201 ,156 ,041 ,679 ,429 ,254 ,128 ,212 -,039 ,015 ,369 ,458 ,379 ,174 ,685 ,807 ,726 ,761 ,722

Componente 2
,666 ,077 ,178 ,177 ,248 ,674 ,634 ,823 ,533 ,244 ,067 ,420 ,212 ,238 -,024 ,012 ,054 ,316 ,204 ,106

3
,400 ,166 ,867 ,449 ,212 -,158 -,004 ,335 ,598 ,069 ,105 ,536 ,100 ,023 ,752 ,295 ,138 ,119 ,213 -,016

4
-,032 ,230 -,042 ,008 ,126 ,185 ,374 ,144 ,301 ,793 ,738 ,065 ,521 ,029 ,162 ,085 ,153 ,020 ,054 -,176

5
,436 ,855 ,172 ,276 ,395 ,013 ,104 -,080 -,156 ,146 ,207 ,200 -,379 ,006 ,024 -,242 ,174 ,191 ,267 -,252

6
,041 ,175 -,038 ,595 -,009 ,324 ,136 ,161 -,219 -,129 ,505 ,269 ,024 ,711 ,278 ,308 ,066 ,274 ,115 -,001

Tabla 6. Matriz componentes rotados.

Al analizar la distribucin de las respuestas de acuerdo al grupo muestral se encontr que los resultados registrados por los grupos de ususarios expertos como lo son los empleados de Redwings y los integrantes del grupo GRIEGO son similares, situacin que se repite con las respuestas de los estudiantes de pregrado y posgrado que aunque ms dispersas tambin son similares entre s.

Diagrama 16. Grfico respuestas por componente.

2.7 Anlisis por dimensiones

En el Diagrama 17 se presenta la media de la calificacin asignada por cada grupo encuestado a cada dimensin. Aqu se observa que los integrantes del grupo GRIEGO y los estudiantes de posgrado presentan en promedio una mejor puntuacin que los dems, mientras que los empleados de Redwings presentan en promedio las calificaciones ms bajas para cada dimensin. Por otro lado, en el Diagrama 18 se observa que la media total obtenida en cada dimensin (valor ubicado en el eje vertical) se encuentran por encima de 4 en una escala de 7 con una desviacin estndar de 1.34, indicando que la percepcin del sistema por parte de los encuestados es apenas buena. Por otro lado, la desviacin estndar (Representada por el dimetro de la circunferencia) es muy similar para todas las dimensiones, oscilando entre 0,9 y 1,5.

Diagrama 17. Puntuacin media por dimensin y grupo de muestra.

6 5.116 4.609 4 4.110 4.744 4.721 4.826 4.476 4.357

Total confianza seguridad integracin Navegacin Control Calidad de la informacin interaccin

Media

Diagrama 18. Media y desviacin estndar de la puntuacin por dimensin.

A continuacin se presenta un anlisis de los resultados obtenidos a nivel de cada dimensin definida por la metodologa WIS. Dimensin de Confianza: Esta dimensin evala en que forma el sistema gua a los nuevos usuarios y para el caso de estudio obtuvo la puntuacin ms baja para todos los grupos encuestados (4,11) con una desviacin estndar de 1,31, la cual es causada por la diferencia de los puntajes asignados por cada grupo encuestado.

La baja puntuacin de esta dimensin se debe principalmente a que el sistema no cuenta con manuales de ayuda en cada modulo y que no es fcil para el usuario restaurar las configuraciones inciales como por ejemplo el idioma. Al respecto, un integrante del grupo GRIEGO indic que el sistema no contaba con manuales en espaol al interior de cada mdulo, lo que afectaba su usabilidad. No obstante, en las entrevistas realizadas a los empleados de la empresa Redwings se evidenci que a pesar de que se les haba entregado manuales en el proceso de implementacin, ellos no los usaban porque preferan llamar al equipo soporte para la solucin de dudas en razn de que era ms rpida la respuesta. Una de las causas por las cuales los usuarios no utilizaban los manuales era su formacin tcnica en la que el aprendizaje se da va prctica y no a travs de la reflexin acadmica, por lo que no podra generalizarse este comportamiento per se.

Otro factor que afecta especficamente est dimensin es el hecho de que la mayora de los encuestados fuesen usuarios inexpertos en el uso del este tipo de sistemas, por lo que tienen una mayor necesidad de contar con manuales y guas.

Dimensin navegacin

Esta dimensin hace referencia a las facilidades que brinda el sistema para entrar a sus diferentes mdulos de manera sencilla. Presenta una media total de 4.45 y una desviacin estndar de 1.17, dnde el grupo que mejor puntuacin le dio fue el de posgrados. Esta puntuacin indica que el sistema tiene una interfaz que permite acceder de forma rpida a los diferentes mdulos, adems de poder buscar informacin especfica de forma rpida.

DimensinSeguridad Esta Dimensin indaga acerca de la percepcin que el usuario tiene acerca de la complejidad del sistema. Para este caso presenta una media total de 4,74 y una desviacin estndar de 1,325. La buena calificacin de esta dimensin se debe a la similitud del interfaz con el sistema operativo Windows y que adicionalmente a travs de todos los mdulos utiliza los mismos conos y un lenguaje amigable, facilitando la interaccin con el sistema. Por otro lado, la desviacin esa causada por las diferentes percepciones entre los usuarios encuestados, en lo cual juega un papel importante la baja puntuacin asignada por el grupo de los empleados Redwings en comparacin con los otros.

Dimensin interaccin: Presenta una media total de 4,72 y una desviacin estndar de 1,32. Para esta variable los datos se encuentran dispersos tanto entre los grupos encuestados como en las respuestas a las preguntas que la componen. Al respecto, el sistema obtiene una buena calificacin cuando se analizan caractersticas como la interfaz grfica, pero se queda corto en brindar opciones de ayuda al usuario o en hacerlas ms visibles.

Dimensin Integracin de la comunicacin Presentauna media de 4,826y una desviacin de 1.079. El alto valor de la puntuacin se explica por el perfil de las personas encuestadas, quienes en su totalidad tenan conocimiento y/o experiencia en las actividades que soporta el sistema, manejando de esta forma el mismo lenguaje. Es de resaltar que esta dimensin es la mejor puntuada por el grupo de empleados de Redwings.

Sin embargo, es necesario prestar atencin a la traduccin de diferentes trminos al interior del sistema dado que en las entrevistas a profundidad se presentaron observaciones al respecto.

Dimensin Calidad de la informacin Como su nombre lo indica se centra en la pertinencia y utilidad de la informacin brindada por el sistema, presentando una mediade 4,357 y una desviacin estndar de 1,57.

Presenta una alta dispersin de las puntuaciones medias arrojadas en los diferentes grupos muestrales, siendo de nuevo los empleados de Redwings quienes le asignan la menor puntuacin, seguidos por los estudiantes de pregrado. En contraste, los grupos de los estudiantes de posgrado y los investigadores del grupo GRIEGO presentaron una calificacin media muy favorable

Dimensin Control Es la variable con la mejor puntuacin para la mayora de grupos encuestados al registrar una media de 5,116 jalonada por la puntuacin que le asign el grupo GRIEGO. La buena puntuacin de esta dimensin se explica porque el sistema presenta de una forma clara el orden jerrquico de los mdulos y en adicin permite salir en cualquier momento del sistema.

El grupo encuestado que asign una menor puntuacin a las dimensiones evaluadas fueron los empleados de la empresa Redwings. En las entrevistas a profundidad realizadas se pudo apreciar que las principales situaciones que inciden en la mala percepcin del sistema son su imposicin desde la direccin, la lentitud del sistema y un aumento en las actividades de los procedimientos en comparacin con el anterior sistema.

Este ltimo punto fue notorio a travs de toda la entrevista, dado que los empleados de Redwings hacan bastante referencia al sistema que anteriormente usaban, el cual aunque presentaba problemas de interfaz por estar diseado con base en el sistema operativo DOS, presentaba una mayor velocidad de respuesta y simplificacin de pasos. No obstante, la diferencia en la cantidad de pasos entre el anterior sistema y OpenERP radica en que este ltimo es un sistema integrado, lo que hace que un procedimiento en un rea de la empresa afecte las dems, implicando que al momento de insertar informacin para un proceso, el sistema solicite informacin de otros procesos que afecta. En adicin, uno de los investigadores del grupo GRIEGO indic que el anterior sistema en la empresa les permita cometer errores, lo que por configuracin no est permitido en OpenERP y por tanto les genera ms pasos.

Por otro lado, el grupo de estudiantes de pregrado tambin present puntuaciones inferiores a los dems grupos, lo que en parte pudo ser causado por el desinters de los estudiantes en el ejercicio, lo cual fue observado durante el desarrollo del mismo.

2.1 Anlisis por variables

En el diagrama consolidadode los grficos de caja de los resultados de la encuesta realizada(Diagrama 19Error! No se encuentra el origen de la referencia.) podemos

observar que para 6 preguntas la media est por encima de 5, para otras 10 por encima de 4 y para las 4 restantes tan slo por encima de 3, estando peor calificadas las preguntas que hacen referencia a la posibilidad de cambio de idioma y restauracin de la configuracin inicial. Por otro lado, las preguntas que hacan referencia la cortesa en los mensajes y la provisin de herramientas para volver a un nivel superior fueron las mejor calificadas.

Es muy importante que la pregunta sobre la provisin de herramientas para volver a un nivel superior haya obtenido la calificacin ms alta, porque como se present en el aparte de anlisis factorial esta es la variable con mayor peso al interior del componente 1, el cual a la vez es el que mayor incidencia tiene sobre la variacin total. Por otro lado, es necesario destacar que en las preguntas relacionadas con la terminologa, grficas y los botones del sistema se presentan las mejores percepciones. Esto indica que la interfaz del sistema es amigable con el usuario, lo cual se explica dada su similitud con la interfaz del sistema operativo Windows. Este tem tambin sobresali en las entrevistas a profundidad con los integrantes del grupo GRIEGO y con los empleados de Redwings, quienes por un lado resaltaron la importancia de la calidad de la interfaz grfica para percibir un sistema como usable y por otro lado indicaron que OpenERP contaba con estas caractersticas.

Diagrama 19.Diagrama de Caja respuestas encuesta.

Aunque en trminos generales se tenga una percepcin favorable de la usabilidad del sistema, es necesario prestar atencin a las preguntas 1 y 20 dado que la posibilidad de cambiar el idioma del sistema es un factor determinante para una percepcin favorable de la usabilidad del mismo, puesto que slo en la medida que el usuario entienda lo que le dice el sistema lo podr usar. Las dificultades de cambiar el idioma tambin se hicieron evidentes en las tareas impuestas a los empleados de Redwings de Colombia.

2.2 Relacin entre el perfil del usuario y la percepcin de usabilidad.

Finalmente, con el objetivo de establecer las relaciones entre la puntuacin media de la usabilidad y el perfil del usuario, el cual est definido por las caractersticas de edad, nivel de ingls y experiencia usando el sistema; se realiz un anlisis de correlaciones, encontrando que no haba correlaciones significativas entre las variables a un nivel de confianza del 90%.
Correlaciones Media Usabilidad Media Usabilidad Correlacin de Pearson Sig. (bilateral) N Edad Correlacin de Pearson Sig. (bilateral) N Experiencia en meses Correlacin de Pearson Sig. (bilateral) N ingles Correlacin de Pearson Sig. (bilateral) N .a ,000 34 ,271 ,147 30 37 ,149 ,385 36 42 -,079 ,638 38 -,150 . ,429 30
a

Experiencia en Edad ,149 .a ,385 36 1 ,000 34 -,079 ,638 38 1 .a ,000 39 28 1 ,000 28 30 meses ingles ,271 ,147 30 -,150 ,429 30

a. No se puede calcular porque al menos una variable es constante.

Tabla7. Correlaciones Usabilidad vs Perfil Usuarios.

3. CONCLUSIONES
A continuacin se presentan las principales conclusiones de este trabajo, las cuales se deben analizar teniendo en cuenta que la usabilidad fue abordada como la cantidad de esfuerzo percibida por el usuario para hacer uso de un sistema de informacin. La metodologa escogida para el caso de estudio fueron los cuestionarios, para lo cual se escogi el cuestionario desarrollado en la metodologa UWIS porque combina la calidad del servicio basado en web y las dimensiones de los principios heursticos de usabilidad. Esta metodologa fue complementada con entrevistas a profundidad que permitieron tener mayor conocimiento de las caractersticas propias del usuario y su contexto de uso. La fiabilidad de las dimensiones propuestas en la metodologa UWIS para la evaluacin de la usabilidad en el caso de estudio fue evaluada a partir del estadstico alfa de cronbach, ndice que fue satisfactorio para las dimensiones de confianza, seguridad, interaccin, integracin y control, pero que para la dimensin de navegacin presentaba un valor que aunque se encuentra en el rango de validez media, es bajo; resultado que fue corroborado por el anlisis factorial dnde todas las preguntas de esta dimensin quedaron agrupadas en diferentes componentes. Posteriormente, se evalu la pertinencia del mtodo de anlisis factorial para analizar los resultados obtenidos en la encuesta a travs de la prueba KMO y la prueba de Barlett, estadsiticos que arrojaron que era adecuado el uso de esta tcnica, resultado que es reforzado por las comunalidades obtenidas para cada variable. El anlisis factorial arroj como resultado que las preguntas contenidas en las encuestas se podan agrupar de forma significativa en 6 componentes, de los cuales el primero estaba compuesto por las preguntas de las dimensiones calidad de la informacin y control, las cuales explican el 37.817% de la varianza total. Para este componente la variable con mayor peso fue la pregunta 6.2 que hace referencia a la capacidad que tiene el sistema para regresar a un nivel superior y es la variable que mejor calificacin presenta (5,29/7). A partir de las dimensiones arrojadas por el anlisis factorial se encontr que las respuestas dadas por los grupos de usuarios expertos son similares (integrantes grupo GRIEGO y empleados empresa Redwings), similitud que tambin seda entre los dos grupos de estudiantes que tambin fueron encuestados. Este resultado muestra la influencia que tiene la experiencia con el sistema en la percepcin de su usabilidad. Al revisar los puntajes medios por dimensin, los empleados de Redwings fueron los que menor calificacin dieron a la mayora de las dimensiones, situacin que se dio principalmente porque el nuevo sistema fue impuesto y para ellos era mejor el anterior, el cual a pesar de tener una peor

interfaz grfica realizaba los procedimientos en menos pasos y con mayor rapidez. No obstante, es necesario aclarar que la cantidad de pasos se incrementa en el sistema OpenERP porque es un sistema de informacin integrado, loque implica que una transaccin afecta diferentes reas y por ende se deben realizar varios registros La dimensin con menor calificacin fue la confianza, lo cual segn un integrante del grupo GRIEGO se da porque el sistema no cuenta con manuales en espaol al interior de cada mdulo. A nivel de pregunta, las que peor calificacin recibieron fueron las que hacan referencia a la posibilidad de cambio de idioma y restauracin de la configuracin inicial. En resumen, el anlisis de Usabilidad del software OpenERP arroja una medida global entre regular y buena, teniendo como puntos a favor una interfaz grfica similar a Windows basada en ventanas, con conos representativos y lenguaje corts; entorno que es muy amigable con el usuario. No obstante, es necesario hacer ms visual la opcin de cambiar el idioma y mejorar la traduccin de algunos trminos, dado que actualmente presentan problemas de lenguaje, el cual es un elemento vital en la percepcin de usabilidad por parte del usuario. Para la implementacin del software OpenERP no es necesario que los usuarios cuenten con amplios conocimientos en sistemas, pero si son deseables los conocimientos de los procedimientos que se desarrollarn con el sistema de informacin a implementar. Adicionalmente, es preferible que el usuario no haya manejado anteriormente programas que slo abarquen un procedimiento de la empresa, porque el cambio de interfaz y del funcionamiento puede generar confusiones y la percepcin de que el sistema no es usable. Al realizar el anlisis cuantitativo no se encontraron evidencias significativas de la correlacin entre las caractersticas de cada individuo encuestado y su percepcin global sobre la usabilidad del sistema, evento que si se evidenci en las entrevistas a profundidad realizadas, por lo que surge la necesidad de verificar esta hiptesis con un grupo muestral mayor y ms heterogneo.

4. POSIBLES LINEAS DE INVESTIGACIN

Es necesario incluir en el anlisis de la usabilidad la dimensin de velocidad de respuesta del sistema, factor que se present de forma reincidente en las entrevistas a los integrantes del grupo GRIEGO y a los empleados de Redwings. Para poder generalizar los resultados de la evaluacin aqu presentada, se hace necesario ampliar la muestra sobre la cual se realicen las encuestas, incluyendo a desarrolladores y miembros de empresas tanto del sector privado como pblico con mayor experiencia en el uso de OpenERP.

LISTADO DE TABLAS
Tabla 1.Principales mtodos de medicin de la usabilidad. ............................................................. 22 Tabla 2. Estadstico alfa de cronbach. .............................................................................................. 30 Tabla 3. KMO y prueba de Bartlett ................................................................................................... 31 Tabla 4. Tabla de comunalidades ..................................................................................................... 31 Tabla 5. Varianza total explicada ...................................................................................................... 32 Tabla 6. Matriz componentes rotados. .............................................................................................. 33 Tabla 7. Correlaciones Usabilidad vs Perfil Usuarios. ...................................................................... 39

LISTADO DE GRFICOS
Diagrama 1. Sistema de informacin. ................................................................................................. 4 Diagrama 2. Concepto de usabilidad .................................................................................................. 6 Diagrama 3. Calidad de uso, medida determinada por el contexto de uso. ....................................... 7 Diagrama 4. Modelo Teora unificada de la aceptacin y uso de la tecnologa. ................................ 9 Diagrama 5. Estrategias de medicin de la usabilidad ..................................................................... 11 Diagrama 6. Relacin entre Problemas de usabilidad encontrados y nmero de usuarios ............. 12 Diagrama 7. Estructura de usabilidad de QUIS ................................................................................ 13 Diagrama 8. Resultados caso de estudio sistema bancario ............................................................. 16 Diagrama 9. Efectividad de los evaluadores ..................................................................................... 17 Diagrama 10. La herramienta de evaluacin PROKUS. ................................................................... 19 Diagrama 11. Forma para el ingreso de una pregunta a PROKUS .................................................. 19 Diagrama 12. Visiones evaluacin del software ............................................................................... 20 Diagrama 13. Estructura general metodologa UWIS ....................................................................... 24 Diagrama 14. Estructura OpenERP .................................................................................................. 26 Diagrama 15.Proceso traduccin encuesta. ..................................................................................... 28 Diagrama 16. Grfico respuestas por componente. ......................................................................... 33 Diagrama 17. Puntuacin media por dimensin y grupo de muestra. .............................................. 34 Diagrama 18. Media y desviacin estndar de la puntuacin por dimensin. .................................. 34 Diagrama 19.Diagrama de Caja respuestas encuesta. .................................................................... 38

LISTADO DE ANEXOS
ANEXO 1. LISTA VERIFICACIN MODELO UTAUT ...................................................................... 46 ANEXO 2. CUESTIONARIO QUIS.................................................................................................... 47 ANEXO 3. CUESTIONARIO SUS ..................................................................................................... 48 ANEXO 4. LISTA DE VERIFIACIN UWIS ...................................................................................... 49 ANEXO 5. TRADUCCIN CUESTIONARIO WIS ............................................................................ 50 ANEXO 6. ENCUESTA ..................................................................................................................... 52

ANEXO 1. LISTA VERIFICACIN MODELO UTAUT

(Venkatesh, Morris, Davis, & Davis, 2003)

ANEXO 2.CUESTIONARIO QUIS

(Tullis & Stetson, 2004)

ANEXO 3. CUESTIONARIO SUS

(Tullis & Stetson, 2004)

ANEXO 4. LISTA DE VERIFIACIN UWIS

(Oztekin, 2011)

ANEXO 5. TRADUCCIN CUESTIONARIO WIS

1. Dimensin Confianza:

1.1. Es posible reemplazar o restaurar fcilmente opciones configuradas por defecto?

1.2. El sistema gua de forma suficiente a nuevos usuarios?

1.3. Los registros innecesarios han sido evitados?

1.4. Los sistemas deautorrespuesta y de correo electrnico le avisan al usuario cuando el servicio ser ejecutado?

2.

Dimensinde Seguridad

2.1. La complejidad de una tarea es acorde con el tiempo de ejecucin de la misma(planeacin, ejecucin, correccin de un error)?

2.2. Los botones de control relevantes estn representados en la pantalla y es claro su funcionamiento?

2.3. El tono de los mensajes es lo suficientemente cortes?

2.4. Los mensajes de seguridad y las notificaciones de correo electrnicoestn configurados en el sistema?

2.5. El sistema hace que le trabajo del usuario sea ms fcil y rpido que sin la ayuda del sistema?

3.

Dimensinde Interaccin

3.1. Las respuestas por correo electrnico, automticas o manuales, o las pginas de servicio le brindan pronta atencina los usuarios?

3.2. Hay sistemas de correo electrnico, interno o externo, para lidiar con las quejas del usuario?

3.3. El uso de terminologa, grficas y menses consistente a travs de todo el sistema?

3.4. La ayuda necesaria es provista acualquiermomento (por ejemplo, ttulos de las ventanas, las instrucciones para proceder)?

4.

Dimensin integracin de la comunicacin:

4.1. La terminologa y las abreviaturas formanparte del lenguaje tcnico del usuario? 4.2. Las Respuestas a Preguntas Frecuentes ayudana los usuarios aresolver los problemas por ellos mismos?

4.3. La funcionalidad de los botones en el dispositivo es obvia a partir de su etiqueta?

5.

Dimensin Navegacin:

5.1. El sistema puede determinardonde estaba el usuario la ltima vez que entr a la sesin (y cualquier progreso hecho)?

5.2. Hay algn tipo de ayuda para la navegacin (ejemplo: encontrar herramientas)?

5.3. Ha sido evitada la aparicin denuevas ventanas de bsqueda innecesarias?

6.

DimensinControl

6.1. La interaccin puede ser interrumpida en cualquier momento por medio de salidas definidas claramente, haciendo posible continuar mas tarde?

6.2. Han sido provistas herramientas ( instalaciones) para regresar al nivel superioren cualquier etapa (por ejemplo, enlaces a la pgina de inicio)?

7.

Dimensin Calidad de la informacin

7.1. La informacin contenida en el sistema es actual, oportuna, precisa y relevante?

7.2. Existeunaorganizacin jerrquica de la informacin de lo general a lo especifico?

7.3. La informacin ofrece opciones de lenguaje?

ANEXO 6. ENCUESTA

FACULTAD DE CIENCIAS ECONMICAS

Con el fin de medir la Usabilidad del software OPEN ERP, solicitamos amablemente responda las siguientes preguntas. Agradecemos su valiosa colaboracin al responderlas, es de aclarar que los datos aqu consignados se tratarn de forma annima, solamente como insumo de un estudio de investigacin.

1.

CARACTERIZACIN DEL USUARIO

1.1 Gnero M |__| F |__| 1.2 Edad ________ 1.3 Formacin profesional: Ingeniera de Sistemas|__| Ingeniera Industrial |__| Contadura Pblica |__| Economa |__|

Otra Ingeniera |__|Ciencias de la Salud|__|

Administracin de empresas |__| otra |__|Cul? ___________ 1.4 Cunto tiempo de experiencia tiene en el manejo delsoftware OPEN ERP? Nunca|__| Menos de un ao|__| Entre uno y tres aos |__|Ms de tres aos |__|

2.

PERCEPCIN DEL USUARIO

Evale las siguientes preguntas de 1 a 7, donde 1 es el menor valor y 7 el mximo.

Es posible reemplazar o restaurar fcilmente opciones configuradas por defecto? El sistema gua de forma suficiente a nuevos usuarios? Los registros innecesarios han sido evitados? La complejidad de una tarea es acorde con el tiempo de ejecucin de la misma(planeacin, ejecucin, correccin de un error)? Los botones de control relevantes estn representados en la pantalla y es claro su funcionamiento?

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

El tono de los mensajes es lo suficientemente cortes? El sistema hace que el trabajo del usuario sea ms fcil y rpido que sin la ayuda del sistema? El uso de terminologa, grficas y menses consistente a travs de todo el sistema? La ayuda necesaria es provista acualquiermomento (por ejemplo, ttulos de las ventanas, las instrucciones para proceder)? La terminologa y las abreviaturas formanparte del lenguaje tcnico del usuario? Las Respuestas a Preguntas Frecuentes ayudana los usuarios aresolver los problemas por ellos mismos? La funcionalidad de los botones en el dispositivo se infiere a partir de su etiqueta? El sistema puede determinardnde estaba el usuario la ltima vez que entr a la sesin (y cualquier progreso hecho)? Hay algn tipo de ayuda para la navegacin (ejemplo: barra de bsqueda)? Ha sido evitada la aparicin denuevas ventanas de bsqueda innecesarias? La interaccin puede ser interrumpida en cualquier momento por medio de salidas definidas claramente, haciendo posible continuar ms tarde? Han sido provistas herramientas para regresar al nivel superioren cualquier etapa (por ejemplo, enlaces a la pgina de inicio)? La informacin contenida en el sistema es actual, oportuna, precisa y relevante? Existeunaorganizacin jerrquica de la informacin de lo general a lo especfico? La informacin ofrece opciones para cambiar el idioma?

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

Mauricio Domnguez e-mail:emdominguezc@unal.edu.co

BIBLIOGRAFA
Alva Obeso, M. H. (Marzo de 2005). Metodologa de Medicin y Evaluacin de la Usabilidad en Sitios Web Educativos. Tesis doctoral . Universidad de Oviedo, Espaa. Bevan, N. -b. (1995). Measuring usability as quality of use. Software Quality Journal , 115-150. Bevan, N. (1999). Quality in Use:Meeting User Needs for Quality. Journal of System and Software . Bevan, N. (1995). Usability is Quality of use. Yokohama: Anzai & ogagwa. Bevan, n., & Macleod, N. (1994). Usability measurement in context. Behaviour and Information Technology,13 , 132-145. Bevan, N., Kirakowskib, J., & Maissela, J. (1991). Proceedings of the 4th International Conference on HCI, What is Usability? Proceedings of the 4th International Conference on HCI. Stuttgart. Colombia es el quinto pas con mayor nmero de computadores en Latinoamrica. (19 de Septiembre de 2009). Recuperado el 21 de Abril de 2011, de Cafeguauguau: http://cafeguaguau.com/2009/09/19/colombia-es-el-quinto-pais-con-mayor-numero-decomputadores-en-latinoamerica/ CRITICAL SUCCESS FACTORS IN ERP IMPLEMENTATION:A REVIEW2008European and Mediterranean Conference on Information SystemsMay 25-26Al Bustan Rotana Hotel, Dubai Davis, F. (1989). Perceived Usefulness, Perceived Ease of Use, And User Acceptance of information technology. MIS Qarterly , Vol 13, No3,319-340. Diseo Web Centrado en el Usuario: Usabilidad y Arquitectura de la Informacin2004 Everis. (2010). Indicador de la Sociedad de la Informacin (ISI). Situacin de las Tecnologas de la Informacin en Argentina, Brasil, Chile, Colombia, Mxico y Per. Espaa: Universidad de Navarra. Fitzpatrick, R. (1999). Strategies for Evaluating Software Usability. Recuperado el 28 de Febrero de 2011, de http://www.comp.dit.ie/rfitzpatrick/papers/chi99%20strategies.pdf Gonzlez, M. P., Pascual, A., & Lors, J. (2001). Evaluacin Heurstica. Recuperado el 8 de Marzo de 2011, de AIPO: Asociacin Interaccin Persona-Ordenador: http://www.aipo.es/libro/pdf/15Evaluacion-Heuristica.pdf Gonzlez, M. P., Pasual, A., & Lors, J. (2001). Evaluacin Heurstica. Recuperado el 15 de Marzo de 2011, de Asociacin Interaccin Persona-Ordenador (AIPO): http://www.aipo.es/libro/pdf/15Evaluacion-Heuristica.pdf Granollers, T., & Lors, J. (s.f.). Esfuerzo de Usabilidad: un nuevo concepto para medir la usabilidad de un sistema interactivo basada en el Diseo Centrado en el Usuario. Recuperado el 28 de Febrero de 2011, de Universidad de lleida: http://www.aipo.es/articulos/3/18.pdf Hassan Montero, Y., & Ortega Santamara, S. (2009). Informe APEI sobre Usabilidad. Gijn: Asociacin Profesional de Especialistas en Informacin. Improving a human-Computer Dialogue1990Comunications of ACM,num 33, vol 3, 338-348

ISO. (9241-11 1998). Ergonomic requirements for office work with visual display terminals (VDTs) -Part 11: Guidance on usability. ISO. (9126 1991). Software enginnering -- Product quality. Keinonen, T. (1998). One-dimensional usability - influence of usability on consumers' product preference. Helsinki . kirakowski, J., Porteus, M., & Corbett, M. (1992). How to use the software usability measurement inventory: the users view of software quality. Proceedings of European. Madrid. Kuniavsky, M. (2003). Observing The User Experience: A Practitioners Guide to User Research. San Francisco: Elsevier Science. Laudon, K. C., & Laudon, J. P. (2008). Sistemas de informacin gerencial: Administracin de la empresa digital. Dcima edicin. Mxico: PEARSON EDUCACIN. Lewis, J. R. (1995). IBM Computer Usability Satisfaction Questionnaires:Psychometric Evaluation and Instructions for Use. International Journal of Human-Computer Interaction , 57-78. Lpez Bonilla, L. M., & Lpez Bonilla, J. M. (2006). Estudio comparado de las estimaciones de dos versiones del modelo de aceptacin d ela tecnologa (TAM) mediante los programas AMOS y PLS. Investigaciones europeas de direccin y economa de la empresa , Vol 12, No 3, 1135-2533. Machn, E. (7 de Febrero de 2003). Alzado.org. Recuperado el 1 de Marzo de 2011, de http://www.alzado.org/articulo.php?id_art=39 Macleod, M., & Rengger, R. (s.f.). The Development of DRUM:A Software Tool for Video-assisted Usability Evaluation. Recuperado el 20 de Marzo de 2011, de http://www.google.com/url?sa=t&source=web&cd=1&ved=0CBkQFjAA&url=http%3A%2F%2Fcitese erx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi%3D10.1.1.127.9116%26rep%3Drep1%26type% 3Dpdf&rct=j&q=drum%20usability&ei=fsWUTd-bJcHYgAeV6siCA&usg=AFQjCNG4RI0KTE1o6F4Ri7V1mIJMj Mercovich, E. (1999). Ponencia sobre Diseo de Interfaces y Usabilidad: cmo hacer productos ms tiles, eficientes y seductores. Buenos Aires, Argentina. Montero, H., & Fernndez, M. (2003). Mtodo de test con usuarios. No Solo Usabilidad . Nielsen, J. (2003). How to Conduct a Heuristic Evaluation. Recuperado el 2011 de marzo de 2, de USEIT: http://www.useit.com/papers/heuristic/heuristic_evaluation.html Nielsen, J. (2003). Usability 101: Introduction to Usability. Recuperado el 15 de Febrero de 2011, de USEIT: http://www.useit.com/alertbox/20030825.html Nielsen, J. (1993). Usability Engineering. San Francisco : Morgan Kaufmann. Nielsen, J. (15 de Marzo de 2000). Why You Only Need to Test With 5 Users. Recuperado el 17 de Marzo de 2011, de UseIt.com Alertbox: http://www.useit.com/alertbox/20000319.html Nielsen-b, J. (s.f.). Ten Usability Heuristics. Recuperado el 29 de Marzo de 2011, de USEIT: http://www.useit.com/papers/heuristic/heuristic_list.html

Oztekin, A. (2011). A decision support system for usability evaluation of web-based information systems. Expert Systems with Applications , 38, 2110-2118. Rodrguez, M. T., Franco, A., & Aparicio, S. (2011). Anlisis De La Implementacin Del Software OpenERP En La Empresa Red Wings. Texto no publicado. Universidad Nacional de Colombia, Bogot, Colombia. The State of the Art in Automating Usability Evaluation of User Interfaces 2001ACM Computing Surveys (CSUR) Volume 33 Issue 4 diciembre Tullis, T. S., & Stetson, J. N. (2004). A Comparison of Questionnaires for Assessing Website Usability. Recuperado el 28 de Febrero de 2011, de The Usability Professionals' Association: http://home.comcast.net/~tomtullis/publications/UPA2004TullisStetson.pdf Venkatesh, V., Morris, M., Davis, G. B., & Davis, F. D. (2003). User Acceptance of Information Technology: Toward A Unified View. MIS Quarterly , Vol. 27 No. 3, Septiembre. What is Usability?1991 Stuttgart ZLCH, G., & STOWASSER, S. (2000). Usability Evaluation of User Interfaces with the Computer aided Evaluation ToolPROKUS. MMI-Interaktiv , Nnnero 3,Junio, ISSN 1439-7854.