PROJECTO I&D 2009/2010

DESENHO METODOLÓGICO
CÁTIA FIGUEIREDO MCMM DeCA UA

> Título: Aplicações Móveis Sensíveis ao Contexto: usabilidade e interacção (65 caracteres)
> BREVE CARACTERIZAÇÃO DA METODOLOGIA
Na primeira parte do estudo, o principal objectivo do mesmo será de cariz exploratório, sendo que serão recolhidas referencias
bibliográficas que permitam uma familiarização com as áreas de estudo envolvidas, suportando o efectuar de um estado da arte e
enquadramento teórico adequado e representativo do tema em estudo. Neste período inicial, um identificar dos actuais métodos
de avaliação de usabilidade e a sua aplicação à área do mobile está também previsto, sendo essencial para a preparação dos
processos de recolha de dados e teste. Para esta exploração inicial do tema, a mais relevante fonte de dados serão as referidas
pesquisas bibliográficas. A segunda etapa do estudo, a nível metodológico, no âmbito dos procedimentos de recolha de dados,
visa o delimitar e implementar de um estudo de caso, de cariz maioritariamente qualitativo, onde os participantes irão interagir
com o protótipo de uma aplicação móvel de distribuição de conteúdos sensíveis ao contexto. Para avaliar o protótipo ao nível da
Interacção Humano – Computador (IHC) e da Usabilidade, serão usados três métodos de avaliação: analítica, empírica e
por observação. As dimensões envolvidas no estudo de caso serão alvo de análise detalhada nos tópicos seguintes.

> CRITÉRIOS DA AVALIAÇÃO

Para a avaliação do protótipo serão tidos em conta três critérios fundamentais: Eficácia (verificar se os objectivos são atingidos ou
não pelo utilizador), Eficiência (analisar como é que os objectivos foram atingidos, medindo os recursos necessários para executar
determinada tarefa) e Satisfação (verificar se as acções levadas a cabo pelo utilizador suscitaram satisfação), visto que “According
to the standard on Human-Centered Design Processes for Interactive Systems, usability is defined as the ‘extent to which a product
can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of
use’” (como citado em Häkkilä, Korpipää, Ronkainen & Tuomela, 2005). Estes critérios serão abordados tendo em conta um
dispositivo em concreto (mobile), um cenário de uso (a ser definido) e um conjunto de tarefas/objectivos a serem levadas a cabo
pelo utilizador. A acrescentar a estes critérios tradicionais, pretende-se ter em conta uma visão mais actual que coloca a questão
da experiência do utilizador (user experience) com um papel de relevo na IHC, como referido por Fallman & Waterworth (2005) “
Recently, HCI researchers have begun exploring the relationship between user and artifact in terms of for instance its affective
qualities rather than efficiency; experiences rather than performance; fun and playability rather than error rate; and sociability and
affective qualities rather than learnability.” Tratando-se de um protótipo de uma aplicação de entretenimento, e não de
produtividade,
> MODELO DE ANÁLISE

CONCEITO DIMENSÃO INDICADORES

Fontes de contexto Localização, acelerómetros, sensores de
temperatura, redes sociais, histórico de
consumo.

Mobile Portabilidade, dimensões ecrã, sistemas

operativo, resolução, peso, autonomia.

Consumo Duração do consumo, localização do

consumo, partilha do consumo, participação,
recomendação, avaliação.
Aplicações sensíveis ao Conteúdos Texto, áudio, vídeo, fotos.
contexto
Personalização Preferências do utilizador (filmes, livros,
música favorita, histórico de consumo, redes
sociais

Funcionalidades Visualização conteúdos, avaliação de

conteúdos, partilha de conteúdos,
recomendação de conteúdos pela aplicação,
cruzamento de informação de contexto
 Design de interacção em Design Centrado no Utilizador, Design
mobile Orientado a Objectivos, Design de Interacção
para o Contexto

Design de Interface em Guidelines, desafios, problemas, princípios

mobile visuais de display de informação
Interacção Humano-
Computador Paradigmas interacção Multi-touch, dispositivo de input

User experience Satisfação, emoção, necessidades do

utilizador, comportamento do utilizador,
entretenimento, qualidades de afectividade e
sociabilidade
Utilizadores Literacia tecnológica, sexo, idade, experiência
com dispositivos multi-touch, experiência de
consumo de conteúdos mobile

Usabilidade Critérios Eficácia, Eficiência, Satisfação

Mobile Imprevisibilidade do contexto

> MÉTODOS DE AVALIAÇÃO, TÉCNICAS E INSTRUMENTOS DE RECOLHA DE DADOS
TÉCNICAS de
MÉTODO DE
TIPOS de TESTE RECOLHA de DESCRIÇÃO
AVALIAÇÃO
DADOS
Avaliação Heurística Checklist “Heuristic Evaluation (Nielsen and
(Princípios de Nielsen, Molich, 1990; Nielsen, 1994) is a
Weiser) method of usability evaluation where
an analyst finds usability problems
by checking the user interface
against a set of supplied heuristics
or principles.”(como citado em
Analítica Lavery, Cockton & Atkinson, 1996)

Inspecção baseada em Checklist Confrontação da interface do

guidelines utilizador com as guidelines de design
de interface.

Inquérito por questionário Inquérito por O inquérito por questionário vai

questionário (pré teste envolver a colocação de questões
e pós teste) fechadas e semi-abertas aos
Empírica participantes do estudo, sendo
ministrado aos participantes em dois
momentos, antes do teste, com vista
 à caracterização dos participantes

Definição de um cenário de Guião de tarefas a “Scenarios are a widely used

uso (Cognitve Walkthroughs) serem levadas a cabo technique in interaction and usability
pelo utilizador research, and they are typically
combined with some other
technique(s), such as prototyping, to
assist them. Scenarios can be
characterised with a set of elements.
A setting draws a picture of the
environment (…). The scenario
includes agents or actors who
typically have goals or objectives,
which are the changes the agent
wants to accomplish in the
circumstances of the settings. The
scenario has a storyline or plot, which
contain sequences of actions and
events.”( Häkkilä, 2006)
Think Aloud Protocol Gravação (registo “The think-aloud protocol is a
áudio e video) commonly used method in usability
Observação testing. Here, the users are asked to
verbalize their thoughts while
performing the tasks (Nielsen
 1994).” (como citado em Häkkilä,
2006)

Observação Participativa e Gravação (registo Registo das Acções do Utilizador pelo

Directa vídeo); avaliador, que interage com o
Grelha de registo; participante durante a sua interacção;
Log do
sistema(verificar)

> PARTICIPANTES NO ESTUDO

No que diz respeito aos participantes no estudo, é relevante referir que se tratará de uma amostragem por conveniência, sendo que os indivíduos
abrangidos pelo estudo serão alunos/docentes da universidade de Aveiro e/ou bolseiros de investigação do Instituto de Telecomunicações/PTInovação.
Levanta-se neste tipo de amostragem problemas de representatividade, assim como um possível enviesamento de resultados, visto que se trata de uma
amostra cujos participantes apresentam um perfil com particularidades que não podem ser generalizadas para a restante população. Quanto ao número de
participantes, Virzi (1992) refere que 80% dos problemas de usabilidade são revelados através de 4 ou 5 participantes somente: “The basic findings are that
(a) 80% of the usability problems are detected with four or five subjects, (b) additional subjects are less and less likely to reveal new information, and (c) the
most severe usability problems are likely to have been detected in the first few subjects”. No entanto, estudos mais recentes refutam esta informação - “Our
findings differ sharply from rules-of-thumb derived from earlier work by Virzi[1] and Nielsen[2,3] commonly viewed as "industry standards." We found that the
four sites we studied would need considerably more than five users to find 85% of the problems”( Spool and Schroeder, 2001) - pelo que se deverá optar por
um número de participantes mais elevado. O inquérito por questionário a ser colocado antes dos testes será relevante para a caracterização dos
participantes, nomeadamente ao nível da idade, sexo, habilitações literárias e experiência na manipulação de dispositivos móveis, assim como de consumo
de conteúdos nestes terminais.
> FASES DO ESTUDO

Para a identificação das tarefas envolvidas no projecto de investigação e articulação das mesmas, segue-se um cronograma com a descriminação das 4
fases principais identificadas para o estudo: preparação e investigação, conceptualização e desenvolvimento, avaliação e teste, conclusões e redacção final.
Pela pertinência para o presente desenho metodológico, apresenta-se também um diagrama que foca a 3ª fase, avaliação e teste.
> REFERÊNCIAS

Häkkilä, J., Korpipää, P., Ronkainen, S. & Tuomela,U. (2005). Interaction and End-User Programming with a Context-Aware Mobile Application Human-
Computer Interaction - INTERACT 2005 (Vol. 3585/2005): Springer Berlin / Heidelberg.

Häkkilä, Jonna (2006). Usability with context-aware mobile applications. Case studies and design guidelines. University of Oulu, Finland, Oulu.

Lavery, D., Cockton, G., Atkinson, M.P. (1996). Heuristic Evaluation. Usability Evaluation Materials. University of Glasgow, Glasgow, United Kingdom.

Robert A. Virzi, Refining the test phase of usability evaluation: how many subjects is enough?, Human Factors, v.34 n.4, p.457-468, Aug. 1992

Jared Spool , Will Schroeder, Testing web sites: five users is nowhere near enough, CHI '01 extended abstracts on Human factors in computing systems,
March 31-April 05, 2001, Seattle, Washington

D  Fallman,  JA  Waterworth  -­‐  Workshop  Paper,  CHI,  2005