Академический Документы
Профессиональный Документы
Культура Документы
ponderación cualitativa.
Tabla 1.
1
La encuesta puede observarse en
http://griho.udl.es/ castella/recerca/mpcu.html.
Figura 1. Esquema del modelo MPIu+a. 2
Un informe de los resultados puede observase en
http://www.alzado.org/aticulo.php?id_art=417.
Si bien existen técnicas que permiten KDD en el cual se aplica un conjunto de
determinar la arquitectura de la información (como algoritmos que (bajo ciertas restricciones
p. ej. el Card Sorting [13]) o predecir el computacionales) produce una enumeración
comportamiento de nuevos usuarios (como p. particular de patrones relevantes Ej a partir de D.
ej. la estadística), el enfoque actual del MPIu+a De acuerdo al tipo de procesamiento
solo permite justificar objetivamente las métricas efectuado, la MD puede ser descriptiva o
predictivas de la usabilidad a través del análisis de predictiva. Mientras que la MD Descriptiva
relaciones entre datos que hayan sido previamente busca identificar las propiedades generales de los
establecidas por el equipo de desarrolladores. La datos analizados, la MD Predictiva utiliza a los
inclusión de técnicas que intenten ir más allá de datos para construir modelos que describen y
estas relaciones preestablecidas (como p. ej. la distinguen clases entre los mismos. Seguidamente
inclusión del Focus Group o del Brainstorming se presentan dos acercamientos formales del
[3]) suelen implicar un aumento considerable en KDD que resultan relevantes: las llamadas reglas
los costes asociados a la etapa de evaluación pues de asociación –propias la MD Descriptiva– que
implican la presenciad de evaluadores expertos o permiten descubrir dependencias entre conjunto
usuarios. Como se verá posteriormente, estas de valores discretos, y los árboles de decisión
limitaciones pueden superarse aplicando técnicas –propios de la MD Predictiva– que brindan un
del KDD dentro del modelo MPIu+a. modelo de inferencia inductiva altamente
expresivo.
En general, los ADs representan disyunciones • La fuente de datos necesaria para el KDD
de conjunciones sobre restricciones de los valores solo se sustenta en la participación activa de
de atributos de la Base de Datos del KDD. Cada usuarios y de evaluadores expertos. En
camino desde la raíz hasta una hoja representa una consecuencia, la aplicación del KDD al
MPIu+a es totalmente independiente de la
técnica particular utilizada.
Tabla 1. • La riqueza e imparcialidad presente en la
4 información producida por las técnicas del
Extraído de [9]
KDD facilitará la comunicación entre evaluación de Ci y Ei+1 la etapa de evaluación de
miembros de un equipo de desarrollo de Ci+1.
software interdisciplinario. En síntesis, puede afirmarse que la inclusión
• Las RA alcanzan mayor efectividad si se del KDD como nuevo modelo formal que ayude a
obtienen a partir de grandes Bases de Datos justificar objetivamente la métrica predictiva de la
[9]. Esta situación puede asegurarse para la usabilidad dentro del modelo MPIu+a (y en
presente propuesta, ya que la inclusión de los particular la ponderación cualitativa de la misma)
usuarios en todas las etapas de desarrollo de es altamente factible y deseable. Además, puede
MPIu+a aumenta la cantidad de información asegurarse que esta inclusión no implicará
proveniente de su participación. Cuando no incrementar excesivamente los costes asociados a
existan gran cantidad de datos a procesar la etapa de evaluación del MPIu+a.
podrán utilizarse los ADs (por ej. con datos de
evaluadores expertos).
• La búsqueda de patrones con técnicas del 5. Experimentación
KDD no complica la recogida de los datos de
cada ciclo de vida del software del MPIu+a, ya Para validar la potencialidad del KDD como
que se utilizan las mismas fuentes de datos herramienta capaz de mejorar la justificación de
existentes previamente en el modelo la métrica predictiva de la usabilidad dentro de
(encuestas, tests, etc.). MPIu+a se ha llevado a cabo una serie de
• Las etapas previas a la MD dentro del KDD experimentaciones. A modo de ejemplo, se
no añaden costes excesivos a la evaluación de resumirán los resultados obtenidos tras incluir las
prototipos del MPIu+a. Pueden re-utilizarse herramientas del KDD en la evaluación
Bases de Datos generadas con otros propósitos predictiva de la usabilidad del primer prototipo de
(p. ej. estadísticos) como fuentes del KDD. software del Ejemplo 1. En este caso, las
• El volumen de conocimiento descubierto con herramientas del KDD fueron utilizadas para
las técnicas del KDD puede acotarse a través procesar las respuestas a las 186 encuestas
de mecanismos que permiten establecer grados presentadas.
de interés de los patrones obtenidos (p. ej. las
métricas objetivas y subjetivas para las RAs). Pre-Procesamiento de datos: A partir las 186
• La inclusión de modelos predictivos (ADs) y respuestas obtenidas se han seguido los pasos del
descriptivos (RAs) brindan alternativas pre-procesamiento del KDD descriptos en la
complementarias para interpretar la Sección 3 y se ha generado una Base de Datos de
información producida por el KDD. 100 registros diferentes (ver Figura 4). Se ha
• Las herramientas gráficas provistas por el adecuado el formato de la Base de Datos para
KDD facilitan el posterior análisis de los adecuarlo a la plataforma de software WEKA
resultados. [16], utilizada para efectuar los pasos siguientes
del KDD.
La aplicación reiterada de la propuesta podrá
utilizarse como un indicador objetivo que permita
estimar la incidencia de los cambios que se han
introducido en un prototipo a partir de la
evaluación cualitativa de su usabilidad. Por
ejemplo, si RAi⊂Ei y RAi+1⊂Ei+1 entonces
(RAi∩RAi+1)≠∅ indicará la persistencia de
problemas de usabilidad de Pi ∈ Ci en Pi+1 ∈ Ci+1, Figura 4. Base de Datos del KDD expresada a través
siendo Ci y Ci+1 dos ciclos consecutivos en el de una hoja de cálculo
desarrollo de un sistema informático según el
MPIu+a, Pi y Pi+1 los prototipos de software de Minería de datos: se eligió al algoritmo
los ciclos Ci y Ci+1 respectivamente, RAi y RAi+1 Apriori para generar RAs. Tras minar los datos
los conjuntos de reglas de asociación que justifican se obtuvieron más de 100. Las 10 mejores pueden
problemas de usabilidad de Pi y Pi+1, Ei la etapa de observarse en la Figura 5. Posteriormente se
eligieron 30 instancias de la Base de Datos al azar confianza superior al 95 %. De esta manera se
y se aplicó al algoritmo Id3 para generar distintos acotó la cantidad de reglas producidas. Las
ADs. La Figura 6 muestra el AD obtenido para el mejores 10 reglas obtenidas se observan en la
atributo “ser registrado como usuario”. Figura 7.
Visualización de resultados: se utilizaron
gráficos basados en el sistema de ejes cartesianos
provistos por WEKA, como el que puede
observase en la Figura 8.
Psicología ♦
Diseño Web ∆ ∆ ♦
¿
∆ ♦
Documentac. ∆ ¿
Dis. Gráfico ♦
¿
Ingeniería ∆ ∆
∆
♦ ∆¿
Informática ♦ ∆∆
Figura 6. AD generado para el atributo “ser registrado si no puede ser no se
como usuario” del Ejemplo 1 (con 30 instancias
aleatorias de la Base de Datos). Figura 8 Gráfico obtenido para patrones interesantes del
Ejemplo 1. Eje x: atributo “registrarse como usuario”,
eje y: atributo “área de conocimiento”, figuras: atributo
Búsqueda de patrones interesantes: se “espacio de discusión”
utilizaron métricas objetivas, buscándose una
Aplicación del nuevo conocimiento a la intenta alcanzar justificaciones cualitativas que
evaluación predictiva del primer prototipo sin dejar de ser objetivas sean altamente
(evaluación formativa): La ejecución de los descriptivas.
distintos pasos del KDD consumió En cuanto al uso de las RAs para la
aproximadamente un 20% del tiempo previamente ponderación de la usabilidad, cabe destacar que
estimado para la evaluación. El conjunto final de las propuestas encontradas focalizan el estudio
RAs, las representaciones gráficas y los ADs sobre sistemas de software ya implantados y en
obtenidos fueron añadidos a los documentos funcionamiento real. Por ejemplo, el marco
generados tradicionalmente durante la evaluación formal AWUSA [15] propone la creación de una
de la usabilidad como justificantes de las herramienta automática para evaluar usabilidad en
observaciones en cuanto a la ponderación sitios web que combina técnicas de logging [11],
cualitativa. minería de datos y análisis de la estructura
Las RA se utilizaron para sustentar estática del sitio. Se utilizan RAs para detectar
objetivamente parte de la lista de patrones problemáticos en los atributos de los
recomendaciones. Permitieron evidenciar la recursos solicitados por los usuarios.
existencia de relaciones entre los datos aportados Otro ejemplo se describe en [1]. En este caso,
por los usuarios que no habían sido considerados a la información utilizada proviene de aplicar la
priori por el equipo de desarrolladores, como p. ej. técnica de logging a partir de la navegación que
la siguiente relación expresada por la RA de la los usuarios efectúan sobre el sitio que esta siendo
Figura 7 evaluado. Resultan de relevante interés las
definiciones de categorías para cada uno de los
Regla 9: sexo=varón, bilbliografía=si ejemplos=si 13 ⇒ atributos de las RAs y la descripción del proceso
articulos=si 13 conf: (1) de preparación de los datos.
La potencialidad de los ADs como
la cual explicita formalmente un patrón de herramienta para mejorar la evaluación de la
comportamiento observado en el 43% de los casos usabilidad de un sistema ya desarrollado ha sido
(13/30) que establece una relación de causa-efecto estudiada en [4]. En ese trabajo se ilustra el uso
entre el sexo y los recursos preferidos por los de los ADs (particularmente del algoritmo Id3)
usuarios con un 100% de certeza. para modelar perfiles de usuarios a través de su
Los ADs se utilizaron para contrastar la interacción con el sistema y predecir
arquitectura de la información del prototipo y las características de la interfaz a partir de esa
clasificaciones obtenidas a partir del Card Sorting, interacción.
ya que evidenciaron relaciones jerárquicas
existentes entre los datos y permitieron predecir
del comportamiento de futuros usuarios de 7. Trabajo futuro y conclusiones
acuerdo a los distintos perfiles considerados (p. ej.
edad y profesión).
En el presente trabajo se proponen nuevas líneas
conceptuales para extender el modelo Modelo de
Proceso de la Ingeniería de la Usabilidad y de la
6. Trabajos relacionados Accesibilidad (MPIu+a) a través del uso de
técnicas del Descubrimiento de Conocimientos en
El concepto de métricas predictivas de la Base de Datos (KDD). En particular, se presentan
usabilidad o métricas de diseño es explicado en las reglas de asociación para describir relaciones
[3]. Se focaliza el estudio sobre la interfaz y se de tipo causa-efecto entre datos, y los árboles de
presentan funciones matemáticas como métricas decisión para predecir el comportamiento de
objetivas (p. ej. la Concordancia de Tareas, que nuevos usuarios. A diferencia de otros trabajos
evalúa eficiencia y simplicidad). Los objetivos similares que utilizan el KDD para evaluar la
presentados se asemejan al de esta propuesta, pero usabilidad de sistemas informáticos interactivos
el acercamiento utilizado es diferente. Mientras ya implantados (ver Sección 6), en este trabajo se
que en [3] se busca producir valores numéricos ha utilizado el KDD como herramienta capaz de
concretos y cuantitativos, el presente trabajo mejorar la justificación de las métricas predictivas
de la usabilidad, en particular la ponderación [2] Bastide, Y. et all. Mining minimal non-
cualitativa de la misma. redundant association rules using frequent
La experimentación efectuada (ver Sección 5) closed itemsets. In CL 2000.
permite afirmar que la inclusión del KDD dentro [3] Constantine, L; Lockwood, L. Software for
del modelo MPIu+a posibilita: Use. A practical Guide to the Models an
Methods of Usage-Centered Design. ACM
• documentar formalmente relaciones ocultas Press and Addison-Wesley, 1999.
entre los atributos del sistema evaluado que [4] Finlay J. Machine learning: a tool to support
no fueron previamente explicitadas por el improved usability?. En Applied Artificial
grupo de desarrolladores. Intelligence, volumen 11, 1997, pp. 633-65.
• explicitar formalmente “intuiciones” del [5] Frawley, W.J.; Piatetsky-Shapiro, G.; and
grupo de desarrolladores que solo pueden ser Matheus, C. Knowledge Discovery In
planteadas muy informalmente. Databases: An Overview. AAAI Press/MIT
• minimizar el grado de subjetividad de las Press, Cambridge, MA., 1991, pp. 1-30.
decisiones del grupo de desarrolladores [6] Teoh Soon Tee; Ma Kwan-Liu. PaintingClass:
basadas en información cualitativa. Interactive Construction, Visualization and
• corroborar la superación o persistencia de Exploration of Decision Trees. In 9th ACM
problemas de usabilidad medidos SIGKDD. Usa, 2003. pp. 667 - 672
cualitativamente entre los prototipos [7] Granollers, T; Lorés J. Esfuerzo de
pertenecientes a ciclos consecutivos del Usabilidad: un nuevo concepto para medir la
desarrollo de un sistema bajo las premisas del usabilidad en un sistema interactivo basada en
MPIu+a. el DCU. V Cong. IPO. España, 2004.
[8] Granollers, T.; Lorés J., Perdrix F. Usability
Se evidencia la necesidad de profundizar en la Engineering Process Model. Integration with
aplicación de las etapas posteriores a la minería de Software Engineering. HCI 2003.
los datos del KDD para facilitar la visualización de [9] Han, J. and Kamber, M. Datamining:
la información obtenida de acuerdo a criterios Concepts and Techniques. Morgan
subjetivos preestablecidos por el equipo de Kaufmann, 2000.
desarrolladores del MIPu+a. En este sentido se [10] Mitchell, T. Machine Learning. McGraw
estudia la posible aplicación de herramientas como Hill, 1997.
las descriptas en [6]. Asimismo, se estudia la [11] Nielsen, J. Usability Engineering. Academic
utilización de clasificadores basados en medidas Press Professional, Boston, MA, 1993
de similitud (instance-based classifiers) como [12] Piatetsky-Shapiro, G. Discovery, analysis,
posible técnica de minería de datos a incorporar. and presentation of strong rules. In
Finalmente, cabe destacar la posibilidad de Knowledge Discovery in Databases.
extender la propuesta más allá de los límites del AAAI/MIT Press, Cambridge, MA, 1991.
modelo MPIu+a. Incluir técnicas propias del KDD [13] Roberston, J. Intranet Design Series:
dentro del marco de la Ingeniería de la Usabilidad Information design using card sorting.
y el Diseño Centrado en el Usuario se perfila Information & Design, 2001.
como un nuevo camino prometedor y altamente [14] Sauro, J; Kindlund, E. A Method to
factible. Standardize Usability Metrics Into a Single
Score. CHI 2005, Portalnd USA, 2005.
[15] Tiedtke, T; Märtin, C; Gerth, N. AWUSA. A
tool for automated website usability anlaysis.
Referencias 9th Int. Workshop DSVIS. Alemania, 2002.
[16] WEKA 3.4.2. Waikato Environment for
[1] Alipio, J.; Poças, J.; Azevedo, P. Knowledge Análsys. Copyright (C) 1998-
Recommendation with Association Rules: a 2004. University of Waikato, New Zealand.
web mining application. Data Mining and [17] Zaki, M.; Hsiao, Ch-J. Charm: An e_cient
Warehouses Conf. IS-2002, Eslovenia, 2002. algorithm for closed itemset mining. In Proc
2nd SIAM Int. Conf. on Data Mining,
Arlington, 2002.