A

Planejamento da Avaliao de IHC

Captulo 9
Barbosa e Silva 2010

O que avaliao de IHC?

A avaliao de IHC um momento onde o avaliador: faz um julgamento de valor sobre a qualidade de uso da soluo de IHC e identifica problemas na interao e na interface que prejudiquem a experincia particular do usurio durante o uso do sistema

2
Barbosa e Silva 2010

Por que avaliar?

nem sempre os produtos de um processo de fabricao so de qualidade
matria prima com defeito ou de m qualidade pode acontecer um erro humano, etc.

no desenvolvimento de sistemas interativos, os problemas costumam ocorrer:

na coleta, interpretao, processamento e compartilhamento de dados entre os interessados no sistema (stakeholders) na implementao do sistema projetado 3
Barbosa e Silva 2010

A avaliao do produto final possibilita entregar um produto com uma garantia maior de qualidade

Por que avaliar em diferentes perspectivas?

Um sistema interativo deve ser avaliado na perspectiva de quem concebe, constri e de quem o utiliza

para quem constri, deve-se verificar se o sistema funciona de acordo com especificao de requisitos testes da Engenharia de Software

para quem concebe e utilizada, deve-se verificar se o sistema apoia adequadamente os usurios a atingirem seus objetivos em um contexto de uso avaliaes de IHC

4
Barbosa e Silva 2010

Por que avaliar em diferentes perspectivas?

As diferenas entre quem no podem ser desprezadas concebe e quem utiliza

Os usurios podem ou no compreender e concordar com a lgica do designer, julgar a soluo de IHC apropriada e melhor do que as solues existentes, incorpor-la no seu dia a dia, quando tiverem escolha importante avaliar IHC do ponto de vista dos usurios, preferencialmente com a participao deles
5
Barbosa e Silva 2010

Por que avaliar a qualidade de uso?

problemas de IHC podem ser corrigidos antes e no depois de o

produto ser lanado

a equipe de desenvolvimento pode se concentrar na soluo de problemas reais, em vez de gastar tempo debatendo gostos e preferncias particulares de cada membro da equipe engenheiros sabem construir um sistema, mas no sabem e no esto em uma posio adequada para discutir sobre a qualidade de uso.
6
Barbosa e Silva 2010

Por que avaliar a qualidade de uso?

Quem ser o advogado do usurio para defender seus interesses

durante o processo de desenvolvimento?

O tempo para colocar o produto no mercado diminui, pois os problemas de IHC so corrigidos desde o incio do processo de desenvolvimento. Identificar e corrigir os problemas de IHC permitem entregar um produto mais robusto, ou seja, a prxima verso corretiva no precisa j comear a ser desenvolvida no momento do lanamento do produto no mercado.
7
Barbosa e Silva 2010

O que avaliar?
importante definirmos quais so os objetivos da avaliao, a quem eles interessam e por qu Os objetivos de uma avaliao determinam quais aspectos relacionados ao uso do sistema devem ser investigados Alguns objetivos de avaliao comuns so:
apropriao de tecnologia pelos usurios, incluindo o sistema computacional a ser avaliado mas no se limitando a ele; ideias e alternativas de design; conformidade com um padro; problemas na interao e na interface.

Os objetivos precisam ser detalhados em perguntas mais especficas para torn-los operacionais

8
Barbosa e Silva 2010

Exemplos de perguntas que uma avaliao de IHC pode responder

9
Barbosa e Silva 2010

Exemplos de perguntas que uma avaliao de IHC pode responder

10
Barbosa e Silva 2010

Quando avaliar o uso de um sistema?

em diferentes momentos do processo de desenvolvimento, dependendo dos dados disponveis sobre a soluo de IHC sendo concebida

avaliao formativa, antes de termos uma soluo pronta geralmente utilizada para:
analisar e comparar ideias e alternativas de design identificar problemas na interao e na interface

artefatos que podem servir de insumo:

cenrios de uso, esboos de tela, storyboards, modelagem da interao e prottipos do sistema em diferentes nveis de detalhe e fidelidade

11
Barbosa e Silva 2010

Quando avaliar o uso de um sistema?

em diferentes momentos do processo de desenvolvimento, dependendo dos dados disponveis sobre a soluo de IHC sendo concebida

avaliao somativa (ou conclusiva), depois que a soluo estiver pronta utilizada para avaliar qualquer objetivo de avaliao a soluo de IHC final pode ser representada:
por um prottipo de mdia ou alta fidelidade, ou at mesmo pelo sistema interativo implementado

12
Barbosa e Silva 2010

Onde coletar dados sobre experincias de uso?

As avaliaes de IHC que envolvem a participao dos usurios podem ser realizadas em contexto real de uso ou em laboratrio

avaliao em contexto de uso fornece dados de situaes tpicas de uso que no seriam percebidos em uma avaliao em laboratrio permite entender melhor como os usurios se apropriam da tecnologia no seu cotidiano e quais problemas podem ocorrer em situaes reais de uso difcil controlar sua execuo para assegurar que certos aspectos do sistema sejam analisados
13
Barbosa e Silva 2010

Onde coletar dados sobre experincias de uso?

As avaliaes de IHC que envolvem a participao dos usurios podem ser realizadas em contexto real de uso ou em laboratrio

avaliao em laboratrio oferece um controle maior sobre as interferncias do ambiente na interao usuriosistema facilita o registro de dados das experincias de uso com a soluo de IHC avaliada uma sala de reunio com mesa e cadeiras um ambiente adequado para utilizar os mtodos de grupo de foco e prototipao em papel ambientes de observao so adequados o teste de usabilidade e o mtodo de avaliao de comunicabilidade

14
Barbosa e Silva 2010

Onde coletar dados sobre experincias de uso?

ambiente de observao (laboratrio)

possui 2 salas: uma onde o usurio vai utilizar o sistema (sala de uso) outra onde o avaliador vai observ-lo atravs de um vidro espelhado (sala de observao)

15
Barbosa e Silva 2010

Que tipos de dados coletar e produzir?

Os dados coletados e produzidos em uma avaliao de IHC podem ser classificados de diferentes maneiras. As classificaes mais comuns so: nominais, ordinais, de intervalo e de razo; dados qualitativos e quantitativos; dados subjetivos e objetivos. Cada mtodo de avaliao de IHC privilegia dados e resultados de diferentes tipos
16
Barbosa e Silva 2010

Que tipos de dados coletar e produzir?

dados nominais representam conceitos na forma de rtulos ou categorias, por exemplo: a origem tnica de uma pessoa pode ser africana, hispnica, asitica, etc. dados ordinais representam conceitos com relaes que definem algum tipo de ordem entre eles, por exemplo uma lista de sites que um usurio mais utiliza dados de intervalo representam perodos, faixas ou distncias entre os dados ordinais, por exemplo faixa etria dados de razo so dados que possuem um valor zero verdadeiro, por exemplo o tempo que uma pessoa leva

para realizar uma tarefa, ou o nmero de erros cometidos.

17
Barbosa e Silva 2010

Que tipos de dados coletar e produzir?

dados qualitativos representam conceitos que no so representados numericamente. Por exemplo, os dados nominais e as respostas livres, tais como expectativas, explicaes, crticas, sugestes e outros tipos de comentrio. dados quantitativos representam numericamente uma quantidade, ou seja, uma grandeza resultante de uma contagem ou medio, tais como: o tempo e nmero de passos necessrios para alcanar determinado objetivo ou quantas vezes a ajuda on-line e o manual de uso foram consultados. Nessa classificao se encaixam os dados ordinais, intervalares e de razo.
18
Barbosa e Silva 2010

Que tipos de dados coletar e produzir?

dados objetivos podem ser medidos por instrumentos ou

software, por exemplo, as msicas que ele mais ouviu no

ltimo ms no seu computador ou o tempo que ele levou para realizar uma tarefa numa sesso de teste.

dados subjetivos precisam ser explicitamente expressos pelos

participantes da avaliao, como opinies e preferncias.

19
Barbosa e Silva 2010

Qual tipo de mtodo de avaliao escolher?

Os mtodos de avaliao de IHC podem ser classificados em: mtodos de investigao, de observao de uso e de inspeo Os mtodos de investigao (inquiry) envolvem o uso de questionrios, a realizao de entrevistas, grupos de foco e estudos de campo, entre outros. Esses mtodos permitem ao avaliador ter acesso, interpretar e analisar concepes, opinies, expectativas e comportamentos do usurio relacionados com sistemas interativos.

20
Barbosa e Silva 2010

Qual tipo de mtodo de avaliao escolher?

Os mtodos de avaliao de IHC podem ser classificados em: mtodos de investigao, de observao de uso e de inspeo Os mtodos de observao fornecem dados sobre situaes em que os usurios realizam suas atividades, com ou sem apoio de sistemas interativos. Atravs do registro dos dados observados, esses mtodos permitem identificar problemas reais que os usurios enfrentaram durante sua experincia de uso do sistema sendo avaliado.
21
Barbosa e Silva 2010

Qual tipo de mtodo de avaliao escolher?

Os mtodos de avaliao de IHC podem ser classificados em: mtodos de investigao, de observao de uso e de inspeo Os mtodos de inspeo permitem ao avaliador examinar (ou inspecionar) uma soluo de IHC para tentar antever as possveis consequncias de certas decises de design sobre as experincias de uso. Esses mtodos geralmente no envolvem diretamente usurios e, portanto, tratam de experincias de uso potenciais, e no reais.

22
Barbosa e Silva 2010

Como avaliar?
Os mtodos de avaliao de IHC possuem as seguintes atividades bsicas: preparao coleta de dados interpretao consolidao relato dos resultados

23
Barbosa e Silva 2010

Por onde comear?

aprenda sobre a situao atual, que inclui o domnio do problema, os papis e perfis dos usurios, seus objetivos e atividades, e o contexto em que o sistema ou ser utilizado conhea as interfaces dos sistemas complementares ou semelhantes com os quais os usurios estejam acostumados a utilizar, alm de, claro, a interface do prprio sistema ou prottipo a ser avaliado sempre que possvel, busque saber quais so os comportamentos e as dificuldades tpicos dos usurios durante o uso de sistemas interativos semelhantes. esse conhecimento necessrio para planejar a avaliao adequadamente e facilita a coleta e anlise dos dados

24
Barbosa e Silva 2010

Preparao da avaliao
no planejamento de uma avaliao de IHC precisamos definir:
os objetivos e questes especficas de investigao
escopo da avaliao: quais partes da interface, caminhos de interao, tarefas devem fazer parte da avaliao

os mtodos a serem utilizados

os perfis e o nmero de participantes

25
Barbosa e Silva 2010

Preparao da avaliao
Depois preciso: refletir sobre as questes ticas e definir os cuidados que devem ser tomados alocar pessoal, recursos e equipamentos preparar e imprimir o material de apoio:
termo de consentimento questionrio (ou roteiro de entrevista) pr e ps-teste instrues e cenrios para orientar os participantes sobre as tarefas a serem realizadas; roteiro de acompanhamento da observao, de modo a facilitar a captura de dados e anotaes

preparar todo ambiente, hardware e software realizar um teste-piloto recrutar participantes

26
Barbosa e Silva 2010

Coleta de dados
depende dos objetivos e mtodo de avaliao planejados

27
Barbosa e Silva 2010

Coleta de dados
avaliao por inspeo
envolve apenas avaliadores que:
utilizam o material preparado para seguir o mtodo examinam a interface para identificar
prever experincias de uso ou discrepncias com padres

28
Barbosa e Silva 2010

Coleta de dados
avaliao por observao ou investigao
envolve a participao dos usurios para:
relatar experincias de uso vivenciadas ou permitir a observao de experincias reais de uso

29
Barbosa e Silva 2010

Coleta de dados
orientaes gerais para uma sesso de observao em laboratrio

d oportunidade e tempo para o participante se acostumar com

o ambiente e reduzir sua ansiedade:
seja cordial e deixe o participante vontade estabelea um conversa quebra-gelo apresente o laboratrio, incluindo a sala de observao oferea gua, caf, oportunidade para ir ao toalete 30
Barbosa e Silva 2010

Coleta de dados
orientaes gerais para uma sesso de observao em laboratrio

apresente a avaliao ao participante:

explique os objetivos do estudo, o sistema de interesse, o procedimento da avaliao

informe os cuidados ticos sendo tomados

esclarea qualquer dvida do participante entregue o termo de consentimento 31
Barbosa e Silva 2010

Coleta de dados
orientaes gerais para uma sesso de observao em laboratrio

caso o participante aceite, inicie a sesso de observao:

entregue o formulrio pr-teste ative softwares e hardwares que registram os dados apresente o sistema avaliado se for o primeiro contato, permita um explora livre do sistema entregue as instrues e os cenrios das tarefas esclarea as eventuais dvidas o participante passa a realizar as tarefas solicitadas
Barbosa e Silva 2010

32

Coleta de dados
orientaes gerais para uma sesso de observao em laboratrio

observe o participante:
um avaliador na sala de uso e outro na sala de observao anote qualquer acontecimento relevante no interfira, questione ou interrompa os participantes enquanto realizam as tarefas

33
Barbosa e Silva 2010

Coleta de dados
orientaes gerais para uma sesso de observao em laboratrio depois de concludas as tarefas:
realize a entrevista ps-teste para esclarecer as dvidas

34
Barbosa e Silva 2010

Interpretao
anlise do material registrado para atribuir signicado aos dados coletados
deve ser orientada pelo mtodo de avaliao utilizado e pelo planejamento da avaliao os mtodos de avaliao costuma apontar:
os focos de anlise (i.e., quais dados devem ser analisados sob quais perspectivas de anlise) e os tipos de interpretaes mais frequentes

por exemplo,
o mtodo de avaliao heurstica enfatiza a anlise de um conjunto de heursticas o mtodo de avaliao de comunicabilidade investiga problemas na recepo da metamensagem
35
Barbosa e Silva 2010

Interpretao
anlise do material registrado para atribuir signicado aos dados coletados
inicia com a interpretao dos dados de cada participante, ou seja: uma anlise intrassujeito ou intraparticipante pode ser feita de forma automtica ou manual
http://www.dasilva.org.br

36
Barbosa e Silva 2010

Consolidao dos resultados

os resultados individuais so consolidados e analisados em conjunto, em uma anlise denominada de intersujeito ou interparticipante
busca recorrncias nos resultados de todos os participantes acordo com o mtodo selecionado. os resultados comuns a vrios participantes de um grupo permitem fazer uma distino entre caractersticas representativas do grupo e das especficas de cada participante busca responder ou justificar por que alguma resposta no foi encontrada para as questes de investigao a generalizao dos resultados exige muito cuidado, pois sempre so fortemente influenciados pelo ambiente de avaliao e pelas caractersticas, preferncias, interesses e necessidades dos participantes individuais

37
Barbosa e Silva 2010

Relato dos resultados

os resultados de uma avaliao de IHC normalmente indicam tendncias de problemas, e no uma certeza de que eles vo ocorrer durante o uso do sistema
caso no sejam encontrados problemas durante a avaliao, tambm no podemos afirmar categoricamente que o sistema tenha alta qualidade de uso podemos afirmar apenas que o estudo no revelou problemas num determinado escopo do sistema avaliado com base em um certo planejamento
38
Barbosa e Silva 2010

Relato dos resultados

o relato dos resultados costuma incluir:
os objetivos e escopo da avaliao;
a forma como a avaliao foi realizada (mtodo de avaliao empregado);

o nmero e o perfil de usurios e avaliadores que participaram da

avaliao; um sumrio dos dados coletados, incluindo tabelas e grficos;

um relato da interpretao e anlise dos dados;

uma lista dos problemas encontrados; um planejamento para o reprojeto do sistema. 39
Barbosa e Silva 2010

O framework DECIDE
(Preece et al., 2002)

40
Barbosa e Silva 2010

O framework DECIDE
(Preece et al., 2002)

41
Barbosa e Silva 2010

Atividades
Imagine que voc seja apresentado a um produtor de

software que lhe conta sobre seus planos para produzir uma
nova verso de um sistema comercial. Quais argumentos voc elaboraria para convenc-lo a realizar uma valiao de IHC?

Escolha um software de sua preferncia e defina dois

objetivos para avaliao (por exemplo, objetivos citados na tabela dos slides x e y). Planeje duas avaliaes de IHC do software escolhido, uma para cada objetivo definido. Em cada planejamento, realize uma tarefa de preparao da valiao e relate sua execuo. Compare os dois planejamentos.
42
Barbosa e Silva 2010