Вы находитесь на странице: 1из 167

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

O captulo 7 do livro aborda algumas atividades envolvidas na fase do planejamento do teste de usabilidade. So abordadas as seguintes questes: - Quanto tempo dura um teste de usabilidade? - que tipo de influncia o tempo exerce? - testes em diferentes empresas ( 8 a 12 semanas) - diminuindo o tempo de teste ( 4 a 6 semanas) - testes de pequenos pedaos (1 semana) - teste just in time (1 dia e meio) - noes de tempo de teste que devem ser passadas para os desenvolvedores e gerentes. Planejamento Planejamento Planejamento Planejamento fator crtico de sucesso envolve uma srie de passos requer trabalho de equipe precisa ser gerenciado e acompanhado. Vamos ao primeiro ponto

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

- Quanto tempo dura um teste de usabilidade? a primeira pergunta feita pelos clientes e gerentes uma pergunta relevante, j que tempo implica: custo e cronograma. Os testes devem durar o mnimo de tempo possvel e importante considerar que: - O desenvolvimento no pra enquanto os testes acontecem! A fase de planejamento dos testes, por exemplo, pode comear junto com o desenvolvimento. As empresas que j trabalham com os testes de usabilidade, o prevem no custo e no cronograma do projeto isso o ideal! - Mas se o ideal fazer no menor tempo possvel? - Que tempo ideal esse?

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns O planejamento do tempo de durao de um teste deve levar em considerao os seguintes fatores:
- Quanto de teste de usabilidade j foi feito no projeto? Os usurios j foram consultados alguma vez? - Complexidade do produto - Quanto do produto ser testado (partes ou todo?) - O que ser preciso de infra-estrutura / set-up? - Voc j tem um grupo de usurios pr-selecionado? - nmero de participantes / tempo esperado de ao de cada participante - nvel de experincia, treinamento e engajamento da equipe que realizar o teste e desta com a equipe de desenvolvimento - nvel de atividades simultneas que esto sendo realizadas pelos desenvolvedores e equipe do teste de usabilidade - nvel de detalhamento/formalidade do relatrio a ser gerado

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Testes realizados em grandes empresas (8 a 12 semanas) A Microsoft realiza testes de mais de 8 semanas. A primeira dedicada definio dos objetivos do teste e serve tambm para treinamento e entrosamento da equipe de realizao dos testes com a equipe de desenvolvimento. Pode ser que a empresa gaste algumas semanas para chegar a um consenso sobre os objetivos e foco do teste de usabilidade. No caso da Microsoft, so gerados relatrios formais e so editadas fitas com os principais pontos. Essas informaes auxiliam os prximos testes. Os desenvolvedores, em geral, acreditam mais nas informaes que falam por si prprias. Com isso, os relatrios e as anlises devem mostrar esse tipo de informao. Quanto maior o nmero de participantes do teste, maior ser o tempo gasto Testes mais rpidos realizados pela Microsoft envolvem de 6 a 8 participantes que realizam as tarefas durante 1 hora.

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Testes realizados em grandes empresas (8 a 12 semanas) A HP encomendou um teste para um grupo de pesquisas e fez as seguintes exigncias:
- queriam realizar os testes com grupos de usurios distintos - cada grupo deveria ter pelo menos 10 participantes - deveria ser apresentado um relatrio final formal equipe gerencial da HP

Esse teste levou mais de 8 semanas. S o perodo de recrutamento de pessoas gastou muito tempo

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realizao dos testes requer forte esforo de colaborao entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas

Semana 1 Equipe de testes e designers - 3 dias para determinar populao, recrutamento e tarefas do teste.

Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaborao dos cenrios e do questionrio. DICA!

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realizao dos testes requer forte esforo de colaborao entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas

Semana 1 Equipe de testes e designers - 3 dias para determinar populao, recrutamento e tarefas do teste.

Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaborao dos cenrios e do questionrio. DICA!

Para ganhar tempo, voc podo solicitar ao cliente uma lista de possveis usurios e participantes. O desenvolvedor, em geral, conhece seu pblico-alvo.

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realizao dos testes requer forte esforo de colaborao entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas

Semana 1 Equipe de testes e designers - 3 dias para determinar populao, recrutamento e tarefas do teste.

Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaborao dos cenrios e do questionrio. DICA!

Final da semana 2 Equipe de teste faz o teste piloto.

Semanas 3 e 4 A realizao dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usurios e 6 eram administradores do sistema, pessoas que fariam a configurao do mesmo. DICA!

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realizao dos testes requer forte esforo de colaborao entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas

Semana 1 Equipe de testes e designers - 3 dias para determinar populao, recrutamento e tarefas do teste.

Fim da 1 e semana 2 Final da semana 2 Semanas 3 e 4 Recrutamento; Equipe de teste faz o A realizao dos testes treinamento do teste piloto. durou 2 semanas. Seis produto pela equipe de ideal realizar os testes de pessoas avaliaram o O testes, elaborao dos produto como usurios usabilidade cedo, com o produto ainda cenrios e do e 6 eram no terminado. questionrio. DICA! Nesses casos, muito comum o administradores do aparecimento de bugs e outros sistema, pessoas que fariam a configurao problemas. do mesmo. DICA! Ter pessoas da equipe de desenvolvimento participando do teste muito bom, pois alguns problemas so resolvidos na hora, no interrompendo a realizao dos testes.

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Reduzindo o tempo dos testes (4 a 6 semanas) Reduzir o tempo de realizao dos testes requer forte esforo de colaborao entre os envolvidos. Vejamos o exemplo de um teste realizado em 6 semanas

Semana 1 Equipe de testes e designers - 3 dias para determinar populao, recrutamento e tarefas do teste.

Fim da 1 e semana 2 Recrutamento; treinamento do produto pela equipe de testes, elaborao dos cenrios e do questionrio. DICA!

Final da semana 2 Equipe de teste faz o teste piloto.

Final da semana 4 O administrador dos testes passava, diariamente, uma lista dos principais problemas encontrados para ajudar o trabalho dos desenvolvedores.

Semana 5 A equipe de testes analisou as informaes e comeou a fazer o relatrio.

Semana 6 Trmino do relatrio e edio da fita com os principais pontos.

Semanas 3 e 4 A realizao dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usurios e 6 eram administradores do sistema, pessoas que fariam a configurao do mesmo. DICA!

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Reduzindo o tempo dos testes (4 a 6 semanas) possvel fazer testes em at menos tempo. Testes vlidos, com usurios reais e tarefas reais, so realizados em at 4 semanas. Isso depende do nmero de participantes, do nmero de tarefas e da anlise do material que ser feita. Significa, de repente, no ter um relatrio completo, mas obter as informaes necessrias para melhorar o produto. A realizao de testes mais rpidos e eficientes ajuda a ganhar a credibilidade do time gerencial.

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns Testes de pequenos pedaos / fases do produto Na empresa Word Perfect, por exemplo, os testes so realizados em 1 semana. Para tanto, a empresa conta com: - especialistas internos em realizao de testes; - especialistas que esto familiarizados com o produto; - testes especficos para cada etapa do projeto; - recrutador experiente que j tem um grupo de usurios cadastrados; - tarefas que gastem apenas 1 hora; - relatrio rpido, pois as informaes so transmitidas aos desenvolvedores em reunies informais.

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Teste just in time Uma empresa realizou um teste em 1 dia e meio. Como? Um grupo de 5 especialistas em ergonomia e usabilidade trabalhou em paralelo. Enquanto um recrutava, outro selecionava a tarefa e organizava a infra-estrutura. Cada especialista recebeu um participante num laboratrio. Com isso, os teste foram feitos simultaneamente. No final, a equipe de especialistas se reuniu para analisar os dados. Isso funcionou porque a empresa Silicon Graphics tinha diversos laboratrios funcionando 99,9% do tempo, os especialistas j tinham habilidade em realizar testes, alguns usurios internos foram recrutados (6) e os demais foram trazidos por uma agncia (6).

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Noes de tempo de teste que devem ser passadas para os desenvolvedores e gerentes comum que os desenvolvedores e os gerentes pressionem com relao ao tempo dos testes. Isso acontece exatamente nos casos em que o teste realizado quando o produto est praticamente finalizado. A empresa desenvolvedora no deve ter especialistas para realizar os testes e s vezes nem conhece o pblico-alvo e as tarefas que sero realizadas por esses. Conseqentemente, so os testes que demoram mais tempo e geram uma enorme quantidade de informaes e retrabalhos. importante aproveitar essas oportunidades para mostrar a importncia da realizao de testes intermedirios, de foco na usabilidade desde o incio.

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Planejamento como fator crtico de sucesso Reunir um grupo de pessoas para ver como eles usam o produto pode ser perda de tempo, caso os seguintes fatores sejam ignorados Que aspectos do produto requerem maior ateno de usabilidade? As pessoas recrutadas representam os atuais usurios do produto? Que tarefas e tempo sero dados s pessoas? Que tipo de informao voc espera coletar? Como voc vai analisar a informao coletada? O que voc vai fazer com a informao coletada?

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Planejamento envolve uma srie de passos 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. definir objetivos e pressupostos do teste definir quais sero os participantes recrutar os participantes selecionar e organizar as tarefas do teste criar o cenrio das tarefas decidir como medir a usabilidade preparar os outros materiais do teste preparar o ambiente do teste preparar a equipe que conduzir o teste realizar um teste piloto e fazer os ajustes necessrios

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Planejamento envolve trabalho de equipe O teste deve ser realizado por um especialista, mas essa pessoa tem de trabalhar de perto com os demais membros da equipe. Cada profissional tem uma contribuio a dar. Por exemplo: - o especialista sabe conduzir o teste e conhece os possveis problemas; - o desenvolvedor conhece o produto e pode ajudar a definir as tarefas - o help desk conhece os principais problemas de produtos similares; - o pessoal de marketing sabe quais so os usurios que devem ser chamados para o teste

A Practical Guide to Usability Testing

Cap. 7 Planning a usability test


Cap. 8 Defining goals and concerns

Planejamento deve ser gerenciado e acompanhado cuidadosamente Como em qualquer projeto, o teste deve ser gerenciado a partir de um sistema que inclua agenda, definio de responsabilidade, acompanhamento do andamento e documentao. importante guardar um histrico das decises tomadas ao longo do projeto. Escrever o plano do teste tambm ajuda a organizar as idias. Ao mostrar esse plano a outras pessoas, novas idias interessantes podem surgir e, envolver um grande nmero de pessoas ajuda a vender o teste e seus resultados.

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns


Passemos ao captulo 8 Muitos produtos so complexos demais para que todos os seus potenciais usurios e interesses sejam testados Mesmo no caso de produtos mais simples Acontecem tantas coisas durante um teste de usabilidade que, se os objetivos e os pontos de interesse no estiverem bem definidos, aspectos importantes podem ser perdidos. Definir os objetivos e os pontos de interesse fundamental e facilita at a seleo dos usurios do teste, as tarefas e os demais aspectos do planejamento. Para exemplificar, um objetivo pode ser definido da seguinte forma: Usurios sero capazes de selecionar o cone correto em menos de 30 segundos, sem cometer qualquer erro. Um ponto de interesse pode ser definido da seguinte forma: Sero os usurios capazes de selecionar o cone correto de forma rpida e precisa?

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns


Escolhendo os objetivos e os pontos de interesse Durante o planejamento de testes de usabilidade, inevitvel ter de fazer escolhas. Por exemplo: Seu principal interesse saber se as pessoas vo usar o manual ou se as pessoas vo achar fcil o uso do manual? Obter a resposta de todas as perguntas muito difcil e por isso importante estabelecer um foco

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns


Passando de pontos de interesse genricos para especficos Fazendo isso, voc conseguir planejar o teste. Dizendo: gostaramos de saber se o produto fcil para os usurios um bom comeo, mas uma pergunta vaga demais. Seria importante definir: - Que aspectos do produto te preocupam? - Que grupos de usurios especficos te preocupam? - Que tarefas permitiriam que voc verificasse se suas preocupaes so vlidas? - Como voc pode medir isso? Isso ajudar no recrutamento, na seleo das tarefas etc. Mas como definir os pontos de interesse especficos?

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

Fontes de informao Voc pode obter informaes interessantes a partir de: anlise de tarefas e objetivos de usabilidade quantitativos; dvidas especficas de uma fase; avaliao heurstica; testes anteriores do prprio produto ou de produtos similares. Vejamos como cada uma dessas fontes pode nos ajudar

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

Fontes de informao Anlise de tarefas e objetivos de usabilidade quantitativos Do prprio projeto do sistema, devem surgir essas questes. Por exemplo: Um objetivo geral do produto seria: - Menus devem ser de fcil navegao. Objetivo quantitativo de usabilidade: - Usurios sero capazes de achar o item de menu que querem em menos de 2 minutos, sem terem cometido erros. Ponto de interesse genrico: - Ser que as pessoas que esto mudando de programa conseguem encontrar o que precisam? Ponto de interesse especfico: - Ser que os usurios conseguiro adicionar um rodap no documento (a partir do menu)?

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

Fontes de informao Dvidas especficas de uma fase Em cada fase do projeto, uma nova dvida pode surgir. Essas dvidas podem ser facilmente resolvidas a partir de testes de usabilidade. Por exemplo: Suponha que, num dado momento, ocorra um impasse sobre uma filosofia de design e duas opes estejam concorrendo. A equipe pode gastar meses discutindo para chegar a uma concluso, que pode no ser a melhor. Uma sada mais inteligente seria fazer um teste onde os usurios pudessem decidir a filosofia mais conveniente.

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

Fontes de informao Avaliao heurstica Todos os problemas que tenham sido apontados numa avaliao heurstica devem ser alvo de teste de usabilidade. Por exemplo Numa avaliao heurstica de um manual, os especialistas acharam que a explicao da limpeza das partes de uma mquina estava tcnica demais e sem ilustraes. Apesar de os desenvolvedores acharem que todos conhecem esses nomes, antes de distribuir o manual, seria bom chamar um grupo de usurios para pedir que fizessem a limpeza da mquina a partir do manual. Com isso, conseguiriam identificar se o manual est claro o suficiente ou precisa de ajustes.

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

Fontes de informao Testes anteriores ou de produtos semelhantes Como os testes devem ser feitos desde o incio, um teste deve alimentar o outro. Problemas j resolvidos devem ser novamente testados Ouvir os problemas mais comuns de produtos semelhantes tambm ajuda a orientar o teste. Seu produto no deve incorrer nos mesmos erros.

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

EXEMPLO QUE SERVIR PARA O LIVRO TODO Testando um programa de e-mail O programa (fictcio) usado internamente numa empresa, para relacionamento entre funcionrios. Infelizmente s pediram para fazer o teste de usabilidade do produto numa fase final de desenvolvimento e quase nenhum teste de engenharia foi feito anteriormente. Alguns dos principais aspectos a serem testados foram listados. Vejamos

A Practical Guide to Usability Testing Cap. 7 Planning a usability test

Cap. 8 Defining goals and concerns

EXEMPLO do teste do programa de e-mail Questo geral: Ser que os novos usurios conseguiro trabalhar com ele rapidamente? (Obs.: ao trabalhar com usurios novos, conseguimos mapear o pblico que mais pode ter dificuldades) Questo geral: Ser que os novos usurios conseguiro navegar pelos menus fcil e rapidamente? Questes especficas: Ser que os novos usurios acharo o item de menu correto para: - ler uma mensagem? - escrever e enviar uma mensagem? - responder uma mensagem? - encaminhar uma mensagem? - salvar e deletar mensagens da lista? - resgatar uma mensagem antiga para responder? - configurar uma lista de distribuio? Formas de medir as questes de navegao: - a partir de escolhas erradas no menu; - tempo gasto para completar as tarefas.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

No captulo 11 do livro os autores consideram que o Teste de Usabilidade como um processo de amostragem, sendo complicado testar todas as tarefas realizadas pelo usurio em um produto. Quais so os tipos de tarefas que poderiam estar contidas na amostra? -Tarefas que sondam problemas potenciais de usabilidade; - Tarefas vindas da sua experincia e dos seus interesses; - Tarefas que os usurios devem executar no produto.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Tarefas que sondam problemas potenciais de usabilidade Quanto mais problemas forem encontrados no tempo disponvel para o teste, melhor sucedido ser o seu procedimento. Voc deve lembrar aos projetistas e desenvolvedores que o objetivo principal de um teste de qualidade de software revelar os bugs antes do lanamento do produto. Os objetivos do Teste de Usabilidade so similares aos do teste de qualidade de software, pois se trata de um procedimento que visa desvendar os problemas de usabilidade mais srios de um produto. Sendo assim, a meta criar tarefas para sondar reas que tenham potencias problemas de usabilidade.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Uma boa tarefa toda aquela que tem o potencial para descobrir um problema de usabilidade.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Tarefas vindas da sua experincia e dos seus interesses Uma outra fonte usada para identificar as tarefas uma lista de interesses escrita em conjunto com os projetistas. Nesta lista estariam todas as partes ou os componentes que foram projetados com dificuldade e as reas em que a equipe discordou sobre a melhor abordagem. Os projetistas podem ter idias teis sobre onde os usurios vo encontrar problemas de usabilidade, embora eles ignorem s dificuldades mais bsicas destas pessoas ao interagirem com o produto.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Os profissionais que desenvolvem o produto sempre tm noo das reas onde podem existir potenciais problemas usabilidade.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Tarefas vindas da sua experincia e dos seus interesses Com a lista preliminar dos problemas feita ser necessrio criar tarefas para desvendar os problemas no produto. Por exemplo: No caso de um programa de e-mail, onde os usurios tm dificuldade para identificar e ler uma mensagem nova. Conseqentemente pode-se incluir uma tarefa que solicite aos usurios a seleo e, em sequncia, a leitura da mensagem mais nova do correio eletrnico dentre todas as listadas nos itens recebidos.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Tarefas que os usurios devem executar no produto Existem outras tarefas relacionadas com os problemas de usabilidade, interesses e os objetivos do produto que podem complementar lista j feita, tais como: - novas ou modificadas; - crticas para operao do produto; - feitas com freqncia; -feitas sobre presso.

Caso a equipe de desenvolvimento tenha feito uma anlise da tarefa, pode ser possvel extrair uma lista de tarefas desta tcnica.

Uma outra opo realizar reunies com os usurios e os desenvolvedores, objetivando criar a lista com as tarefas.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Tarefas que os usurios devem executar no produto Segue abaixo uma lista resumida com tarefas para o teste do programa de e-mail. -Configure uma senha para conta de e-mail; -Crie uma lista pessoal de e-mail; -Mova as mensagens entre as pastas (diretrios); -Liste os itens contidos na pasta; -Leia os e-mails novos; -Leia a mensagem selecionada; -Crie e envie um e-mail; -Edite a mensagem; -Coloque um arquivo na mensagem; -Crie uma pasta; -Faa um forward da mensagem; -Delete o e-mail; -Delete a pasta; -Busque uma mensagem; -Envie uma cpia do tipo CC.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Reduo da lista de tarefas Para se reudzir a lista deve-se considera: - a durao do teste; - quais so recurso disponveis para o teste (hardware, software, procedimentos e outros recursos para executar as tarefas). A lista de tarefas pode ser usada como um checklist para auxliar na organizao do teste.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Tempo das tarefas Existem dois tipos de tempos que devem ser estimados para o teste: - o tempo que levar para a tarefa ser feito durante o teste;

- o tempo que os usurios consideram aceitvel para completar


a tarefa.

A durao do teste est relacionada com os tempos estimados para cada uma das tarefas.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Tempo das tarefas Para estimar o tempo se deve considerar:


- o tempo que um usurio experiente levaria para completar a tarefa pode servir como uma estimativa base; - os problemas e o tempo de resposta de um usurio tpico nesta situao; - o tempo necessrio para configurar a tarefa e o adicional para preparar a seguinte.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Elimando tarefas A ao de eliminar algumas tarefas tem como objetivo garantir que o usurio ir acabar no horrio estimado e com todas as tarefas completas. Sendo assim, considere os critrios abaixo para eliminar algumas tarefas:
- o objetivo de cada tarefa e a possibilidade de unir algumas em uma nica; - o valor em termos de custos financeiros de uma tarefa devido ao uso de um recurso caro. Ex: Equipamento caro de registro ou uma mquina para rastrear os movimentos dos olhos; - o tempo de uma tarefa de maior importncia em detrimento de outras de menor relevncia.

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Lista final com as tarefas para o teste

Tempo

3 -12 minutos

Hardware Softwares e arquivos

Dois PCs com acesso Internet Programa de e-mail, contas de e-mail para os colaboradores, mensagens recebidas para o Reply e conta existente para receber o e-mail.

Instrues e procedimentos

Texto doReply (alm da informao para escrever o texto). Os procedimentos para restaurar o ambiente para prxima tarefa.

Tabela 1: Lista de recursos para uma tarefa (Dumas & Redish, 1999).

A Practical Guide to Usability Testing

Cap. 11 Selecting and Organizing Tasks to Test


Cap. 12 Creating Task Scenarios

Ordenando as tarefas A etapa final ordenar a sua lista de tarefas:


- as tarefas devem fluir em uma ordem natural, tendo relao com aes do usurio em uma situao real;

- as tarefas de maior relevncia devem vir no incio e no no final. No caso do tempo acabar para um colaborador e as tarefas mais importantes estarem no final, o teste ficar prejudicado e no ter os dados principais para o estudo;

- coloque no incio da sua lista as tarefas mais frequentes.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


O que um cenrio? Os cenrios so usados para informar aos participantes o que ns queremos que eles faam durante o teste. Est tcnica descreve as tarefas de uma maneira que retira a artificialidade do teste.
Exemplo: Voc acabou de retornar ao seu trabalho aps as suas frias. Verifique quantos e-mails voc tem para ler e caso tenha recebido alguma mensagem do Sr. Green, o Vice-Presidente da empresa, leia antes das demais.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


Como deve ser um bom cenrio? Um cenrio de boa qualidade deve ser: - pequeno; - com as palavras do usurio e no do produto; -claro - para que todos os participantes no tenham dvidas;

Um bom cenrio deve: -dar aos usurios as informaes necessrias (nem demais ou de menos) para realizarem as tarefas; -estar relacionado diretamente com as suas tarefas e interesses.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


Os participantes devem sempre receber cenrios escritos? No necessrio sempre usar os cenrios de forma escrita. O pesquisador para tornar o teste mais realista pode tomar as seguintes medidas: -Faa com que os membros da equipe de teste interpretem diversos papeis, sendo clientes, supervisores ou at colegas que entram na sala para passar a tarefa contida nos cenrios. -Utilize o produto para apresentar os cenrios. -Combine tanto cenrios escritos com ligaes ou visitas.

Exemplo: Os cenrios feitos para os testes de telefone poderiam incluir ligaes para os participantes ou telefonemas feitos por eles.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


Os participantes devem sempre receber cenrios escritos? O seu plano de teste deve conter todos os cenrios escritos, mesmo que os participantes no vejam esta informao. Esta informao escrita serve para garantir que a sua equipe de testes no mudar as palavras e por conseginte o sentido da tarefa. Os cenrio devem ser sempre apresentados da mesma forma e com o mesmo contedo.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


Como se dividem os cenrios e as tarefas? Caso voc tenha 15 tarefas para o teste, no necessrio criar o mesmo nmero de cenrio. No preciso ter uma correspondncia idntica de cenrios e tarefas. possvel ter um nmero maior de cenrio do que tarefas, quando se deseja testar uma tarefa mais de uma vez. Ex: Caso o teste tenha como objetivo verificar a velocidade com que os usurios executam uma tarefa. Sendo assim, o teste pode ter a flexibilidade de permitir que o usurio explore a interface para compreender como ela funciona. O estudo pode ter um nmero menor de cenrios do que tarefas, quando se combina duas ou trs tarefas em um mesmo cenrio.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


Como se cria um intervalo de tempo entre uma tarefa e outra? Caso o pesquisador tenha como objetivo estabelecer um intervalo de tempo entre as tarefas, ser necessrio fazer com que o colaborador pare entre uma tarefa e outra. Em algumas empresas o mediador fornece uma tarefa por vez para o usurio, logo ele s ir passar para prxima etapa quando terminar a tarefa atual. Sendo assim, possvel perguntar sobre a tarefa realizada ou aplicar um pequeno questionrio entre uma tarefa e outra. O teste pode ser montado da seguinte forma: -como um livreto tendo uma tarefa por pgina; -com a marcao tarefa e no cenrio nas pginas, pois a segunda indicao pode no ser clara para o usurio; -com a indicao no final da pgina, lembrando aos usurios para avisar quando tiverem acabado a tarefa e espere o pedido para mudar de pgina.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


Como se cria outros tipos de intervalo de tempo durante o teste? No incio do teste o pesquisador deve lembrar o colaborador: -de esperar pelo aviso do pesquisador para comear uma tarefa; -de avisar de forma clara e audvel o final de uma tarefa; - de esperar entre uma tarefa e outra pela autorizao de prosseguir.

A Practical Guide to Usability Testing Cap. 11 Selecting and Organizing Tasks to Test

Cap. 12 Creating Task Scenarios


Tarefa 1
Voc o gerente de projetos de uma nova edio do livro da Professora Anamaria de Moares. Na ltima hora, voc foi informado que a equipe e o cronograma foram modificados. -Abra o projeto do novo livro na tela para fazer a mudana. -A entrega do terceiro volume ter um atraso de trs semanas. Portanto, altere o arquivo para refletir o novo prazo. -Com o objetivo de atingir esta nova meta a sua orientadora, Professora Anamaria, autorizou a contratao de um novo designer. O profissional selecionado foi o Eduardo Brando que ter um jornada diria de seis horas de trabalho com o mesmo salrio do Eduardo Ariel. Sendo assim, adicione o novo designer na equipe do projeto.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

O captulo 15 do livro aborda algumas atividades envolvidas na fase do ambiente de teste. So abordadas as seguintes questes: - Providenciar o equipamento e os objetos do entorno - Preparar o produto - gerar informaes (contedo) necessrio - planejar para o desastre - preparar manuais - Ajustar controle de audio e vdeo - Preparar materiais para os registros - Etiquetar todas as fitas de registro

Vamos primeira

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Providenciar o equipamento e os objetos do entorno Durante a fase de planejamento, voc identifica o equipamento apropriado para o teste. Neste momento, j a hora de prepar-lo, providenciando as configuraes e os ajustes necessrios para garantir que ele v funcionar na hora do teste. Por exemplo: Se estivermos testando o programa de e-mail, voc provavelmente ter de ter um computador a mais na sala para que a comunicao possa se concretizar. Seria preciso, ento, testar se a conexo entre os dois computadores est funcionando. No caso de um teste que envolvesse impresso, seria importante checar se a impressora est corretamente configurada, com papel, tinta, enfim, em perfeito funcionamento.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Providenciar o equipamento e os objetos do entorno

No s os equipamentos precisam estar preparados... O ambiente tambm! Para estimular / simular um ambiente real, preciso providenciar os objetos do entorno.

s vezes, basta incluir uma lata de lixo, um quadro ou um vaso... Mas no podemos deixar de pensar nesses detalhes.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Preparar o produto Alm de cuidar do set up do equipamento, o preparo do produto envolve... gerar informaes Determinadas tarefas, para serem executadas, precisam que algumas informaes j estejam disponveis. Por exemplo: Se o teste for do e-mail, a lista de usurios fictcios j deve ter sido criada, o corpo do texto tambm. Isso feito rapidamente por voc, mas deve estar preparado antes do teste.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Preparar o produto Alm de cuidar do set up do equipamento, o preparo do produto envolve... planejar para o desastre importante estar preparado para o mal funcionamento do teste. Principalmente se voc estiver fazendo o teste de um prottipo. Voc pode economizar tempo, se tiver as atividades prontas por fase. Por exemplo: Imagine que voc esteja testando um programa tipo o Excel. A primeira atividade seria inserir dados em uma coluna e formatar as clulas. A segunda atividade precisaria das informaes da primeira tarefa para que uma funo fosse testada. Entretanto, assim que a pessoa terminou de executar a primeira tarefa, o sistema travou...

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Preparar o produto Se voc no estiver preparado para uma situao como essa, a pessoa ter de realizar a primeira tarefa novamente, o que no nada bom... Entretanto, se voc tiver feito um bom planejamento, j tem o arquivo da primeira tarefa prontinho para disponibilizar para a pessoa. Assim, tenha tudo que for preciso para cada tarefa, independentemente. Se nada der problema, a pessoa pode usar os dados construdos por ela. Entretanto, numa eventualidade, voc no perder tempo.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Preparar o produto Alm de cuidar do set up do equipamento, o preparo do produto envolve... preparar os manuais Se o teste envolver consulta a manuais, voc dever se certificar que estes esto prontos para serem utilizados. Mesmo que no estejam na verso final, com capa e tudo mais, garanta que as informaes estejam legveis.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Ajustar controle de audio e vdeo A qualidade de sua gravao depende do ngulo de viso de sua camera e do som que o microfone consegue captar. Geralmente so gastos em torno de 30 minutos para se conseguir um ajuste adequado desses equipamentos num laboratrio. Numa gravao tpica, so usadas 3 cameras: -uma com o foco na tela; -uma com foco no participante; -uma com foco nos movimentos do participante. preciso ajustar as 3 cameras para conseguir pegar boas imagens. Tome alguns cuidados...

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Ajustar controle de audio e vdeo (cuidados)

1) Tome cuidado com os reflexos. O ideal fazer os ajustes num horrio prximo ao do teste para que voc possa ver se h algum reflexo de sol / luz que possa atrapalhar a imagem. s vezes, virar um pouquinho a tela do computado resolve tudo, mas a cmera tambm ter de ser reposicionada. 2) Imagine que a pessoa estar em frente ao computador. Para que voc no seja surpreendido com a cabea do participante tampando a viso da tela, convide um colega para participar desse momento de set up. Ele pode ficar no lugar do participante para que voc possa ter um cenrio mais prximo do dia do teste. Ele deve, inclusive, se mexer, pois ningum fica parado durante um teste.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Ajustar controle de audio e vdeo (cuidados)

3) Se voc tiver alguma cmera focando no manual que est em cima da mesa, tome o cuidado de fix-lo com um fita adesiva, para que a pessoa no seja tentada a tir-lo da posio original. Se isso no for feito, adeus imagens do manual... 4) Se voc precisar saber qual a pgina que est sendo consultada, coloque nmeros bem grandes no canto inferior de cada pgina para que os nmeros tambm fiquem ntidos na filmagem.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Ajustar controle de audio e vdeo Nem sempre os testes so feitos em laboratrios com 3 cmeras. Se voc s tiver uma, ter de escolher o que dever ser filmado. Pensar que possvel mudar rapidamente o foco da cmera durante o teste um erro.
Por exemplo: no momento em que voc tirou a cmera da tela para filmar o participante, ele digitou algo importante.

Escolha um foco nico e esquea a cmera l. Se voc estiver testando um software, por exemplo, o foco deve estar na tela. Se voc tiver 2 cmeras, voc pode focar na tela e no participante ou na tela e no teclado.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Ajustar controle de audio e vdeo Controlar o udio tambm importante. Preocupe-se em conseguir captar o som de sua conversa com o participante. Mas uma vez, seria bom ter um colega neste momento para que o teste pudesse ser feito.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Preparar materiais para registro A chave para a obteno de medidas quantitativas de performance est no registro da durao e freqncia de cada evento do teste. Esse registro pode ser feito a partir de softwares que gravam todos os cliques, toques e paradas do participante. Em geral, existe uma tela de log com os cdigos de cada evento e isso registrado. No canto da tela, h um espao para que sejam feitos comentrios sobre cada evento. Essa tela deve ser controlada pela pessoa que est conduzindo o teste.

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Preparar materiais para registro

E se voc no tiver esse software? Voc pode usar a estrutura dele para organizar uma folha de registros para voc. Basta ter um cronmetro na mo e uma folha... Por exemplo:
Data: __/__/__ Cdigo do evento em questo Legenda de cdigos de eventos P parou de digitar F finalizou a tarefa I intervalo (pausa) R repetiu a tarefa F Comentrio: M menu E erro H help F frustrado O observao Q questionou algo

Hora (min/seg):

A Practical Guide to Usability Testing

Cap. 15 Preparing the Testing Environment


Cap. 16 Preparing the Test Team

Etiquetar todas as fitas de registro crtico que voc prepare uma etiqueta para cada material de registro. A melhor estratgia para estar organizado durante o teste preparar as etiquetas de todas as fitas que voc vai usar antes da gravao. Por exemplo: se voc sabe que ter 16 participantes no teste e que cada um gastar em torno de 3 ou 4 horas para realizar o teste, prepare 32 etiquetas... Coloque nas etiquetas: - Nome do teste - nome ou nmero do participante - nmero da fita (fita 1, fita 2, fita 3, fita 4)
Exemplo: E-mail, Joo Carlos, fita 1

Isso serve para fitas, disquetes, arquivos ou outros registros!

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team

O captulo 16 do livro aborda os papis que so desempenhados pelas pessoas que vo conduzir o teste. So abordadas as seguintes questes:
- Quantas pessoas so necessrias para conduzir um teste? - As pessoas podem trocar de papel durante o teste? - Quem deve estar no time? - Como outros interessados podem participar? - Quais so os principais papis a serem assumidos? - Alguns checklists...

Vamos primeira

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quantas pessoas so necessrias para conduzir um teste? O ideal ter 3 pessoas no time. Dois especialistas em usabilidade e 1 uma pessoa tcnica representando o cliente. O teste pode, entretanto, ser conduzido por mais ou menos gente. Um nmero muito grande de pessoas pode atrapalhar. E se s tiver uma pessoa para realizar o teste? Isso possvel, mas essa pessoa ter de desempenhar diversos papis simultaneamente e, muito provavelmente, ter de decidir, de antemo, alguns papis (ou informaes) que tero de ser sacrificadas. Um boa sada para esses casos ter uma filmadora registrando aquilo que ela no conseguir captar na correria. No ser possvel cronometrar tudo. Numa situao dessas, anote apenas os principais momentos de incio e fim das tarefas. Para compensar a impossibilidade de anotar todas as observaes, ser bom planejar um tempo maior para assistir as gravaes.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quantas pessoas so necessrias para conduzir um teste? E se voc no tiver um laboratrio? Se voc no tiver um laboratrio e o time todo tiver de ficar na mesma sala em que o participante estiver realizando o teste... seu time ter de ser o menor possvel! Caso contrrio, o participante poder sentir-se intimidado. Se voc tiver um laboratrio com a parede de vidro que s permite que as pessoas de fora vejam o ambiente do teste, voc pode ter outras pessoas nessa sala.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


As pessoas podem trocar de papis durante o teste? Isso no aconselhvel. O ideal que a pessoa desempenhe o mesmo papel ao longo de todos os testes, isto , o mesmo papel com cada um dos participantes do teste. Se isso no assegurado, muitas informaes mais subjetivas so registradas de forma diferente, atrapalhando os resultados.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quem deve estar no time? Em primeiro lugar importante ter em mente que todo mundo que for conduzir o teste deve fazer participar do planejamento. Entretanto, nem todos que estiverem participando do planejamento precisam estar conduzindo o teste. Mas quem deve compor o time? - Apenas especialistas em teste de usabilidade? - Apenas os desenvolvedores? - Um equipe mista? Os 3 casos so possveis e ambos tem vantagens e desvantagens. Vejamos...

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quem deve estar no time? Se o teste for conduzido apenas por especialistas em usabilidade...
Vantagens

-Eles sabem planejar e conduzir o teste; -Sabem o que deve ser observado; -Sabem analisar as informaes coletadas; -Sabem lidar com o laboratrio e os diversos equipamentos
Desvantagens

Mas no so especialistas no produto nem sabem como os usurios usam o produto no dia-a-dia.

Algum do time deve conhecer bem o produto para saber quando o usurio est tendo problemas.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quem deve estar no time? Se o teste for conduzido apenas pelos desenvolvedores...
Vantagens

- Eles podem ver os usurios testando o produto que desenvolveram; - Aprendem a pensar em questes de usabilidade, tarefas e medidas.
Desvantagens

- Aprender a usar as ferramentas de usabilidade requer tempo e dedicao; - Desenvolvedores, em geral, no so bons observadores e podem ter dificuldade em analisar as informaes; - Os testes gastam um tempo que poderia estar sendo dedicado ao desenvolvimento do produto. O mais importante fator a ser considerado que, quando o desenvolvedor participa, ele tem a oportunidade de ver seu produto sendo usado e d mais credibilidade aos resultados do teste. Ele tambm pode ajudar a resolver pequenos bugs que aconteam durante o teste...

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Como outros interessados podem participar? As pessoas que no fazem parte do time podem participar de algumas formas... - Voc pode deixar um monitor de vdeo numa sala onde as pessoas podem acompanhar o teste; - Se voc tiver um laboratrio com aquela parede de vidro que permite que a sala ao lado veja a sala do teste sem que o usurio perceba, eles podem ficar l. Sempre que houver condies, os interessados (gerentes, desenvolvedores, clientes) devem ser convidados a observar o teste.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Os principais papis so: Administrador do teste Instrutor (condutor do teste) Operador de filmagem Responsvel pelo registro das informaes Help desk Especialista no produto Narrador

Alguns papis podem ser combinados e exercidos por uma nica pessoa!!! Vejamos cada um desses papis...

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Administrador do teste Em geral, a pessoa que assume o papel de administrador tambm o instrutor (condutor do teste). Ele o lder da equipe e deve... - definir o papel de cada um e delegar as responsabilidades - ser o responsvel por comunicar tudo a todos - garantir que tudo estar funcionando - conduzir as reunies do time no final das sees - redigir e apresentar o relatrio final

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Instrutor (condutor do teste) Em geral o prprio administrador que assume esse papel. a nica pessoa que interage com o participante durante o teste. Deve prezar para que o participante esteja confortvel, deve ter boa habilidade de relacionamento. Ele deve... -Explicar o teste -Entender o perfil do participante -Mostrar o ambiente -Dar o treinamento necessrio -Passar as tarefas ao participante -Dar todas as orientaes necessrias -Responder s dvidas -Conduzir o encerramento do teste (com ps-teste, agradecimento, pagamento do participante...) Deve ainda... -Certificar-se de que todo o material necessrio est na sala e que o equipamento est ok.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Operador de filmagem o responsvel por gravar o teste e por isso deve saber operar a filmadora. Ele no precisa ser especialista no produto, mas deve conhecer o bsico como, por exemplo, os objetivos do teste, para saber o que deve ser focado (se a expresso da pessoa, o manual, a tela...). Ele deve...
checar antes do teste -se a filmadora (e o udio) esto ok; -se os equipamentos esto na posio correta; -se h fitas suficientes para toda a filmagem; -se est tudo com etiqueta; -se o equipamento est ligado; -se o relgio do computador e da filmadora esto sincronizados, para que os registros fiquem casados. durante o teste -fazer a filmagem; -ajustar o som, se necessrio; -selecionar as cenas que devem ser gravadas; -trocar as fitas depois do teste -voltar as fitas; -desligar os equipamentos

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Responsvel pelo registro da informao o responsvel por registrar todas as aes e comentrios do participante ao longo do teste. o papel que consome mais tempo e por isso no deve ser combinado com outros. A pessoa que ficar responsvel pelos registros deve desempenhar apenas esse papel e deve... -saber trabalhar sobre presso; -ser detalhista; -ter facilidade para escrever (digitar); -conhecer bem os cdigos (do software ou da ficha de registro) -ser bom observador (para incluir comentrios relevantes para os cdigos registrados); -saber operar os software de registro (data-logging); -fazer a edio dos logs (no final do teste); -criar uma cpia (backup) dos registros. Esses registros poderiam ser feitos a partir do material filmado? Sim, mas em geral no h tempo hbil para isso nos testes de usabilidade.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Help desk o responsvel por dar assistncia ao usurio em caso de problemas. Que tipo de ajuda deve ser dada, algo que tem de ser definido antes do teste. O help desk pode ser o prprio condutor do teste ou pode ser algum que possa estar num outro local, disponvel pelo telefone. Geralmente esse papel pode ser combinado com outros, como o do filmador, o do especialista no produto ou do narrador. Se voc for usar o recurso do telefone, importante checar... -se o aparelho est funcionando; -se o nmero do telefone do help desk est disponvel.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Help desk o responsvel por dar assistncia ao usurio em caso de problemas. Que tipo de ajuda deve ser dada, algo que tem de ser definido antes do teste. O help desk pode ser o prprio condutor do teste ou pode ser algum que possa estar num outro local, disponvel pelo telefone. Geralmente esse papel pode ser combinado com outros, como o do filmador, o do especialista no produto ou do narrador. Se voc for usar o recurso do telefone, importante checar... -se o aparelho est funcionando; -se o nmero do telefone do help desk est disponvel.
Importante! Espere o participante pedir ajuda no fique oferecendo isso. Atenda o telefone como se fosse um help desk profissional. D o mnimo de informao para tirar a dvida do participante.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Especialista no produto Deve estar presente para ver a conduo do teste e tambm dar uma assistncia especfica em caso de bugs. Ele pode ter outros papis durante o teste ou ento pode ser um observador.

A Practical Guide to Usability Testing Cap. 15 Preparing the Testing Environment

Cap. 16 Preparing the Test Team


Quais so os principais papis a serem assumidos? Narrador Serve como os olhos da pessoa que est fazendo o registro. Se voc no tiver algum para fazer isso, pode pedir que o participante fale em voz alta o que est fazendo. De qualquer forma, bom contar com um narrador que possa ficar atento ao responsvel pelo registro e ao participante. O narrador deve conhecer bem o produto para poder explicar o que o participante est fazendo, mas deve manter uma postura neutra, para no atrapalhar o participante, principalmente quando este estiver cometendo algum erro. Se voc no tiver um narrador, importante ter um observador que ajude voc a captar alguns detalhes que voc pode no ter tempo para fazer ou registrar.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Como deve ser o dia de teste?


8:15-8:30 1. Chegar no trabalho; 2. Fazer o caf; 3. Ligar a copiadora; 4. Fazer as cpias dos materias para o teste para os colaboradores; 5. Colocar o nmero (cdigo) dos participantes nos materiais. 9:00-9:25 1. Verifique a sala de observao, diminua as luzes e feche a porta; 2. Verfique a sala de teste; 3. Leve os participantes para a sala de teste; 4. Comece a gravar o vdeo; 5. Ligue o programa de captura; 6. Ajuste o ngulo das filmadoras; 7. Fornea as orientaes aos participantes e os formulrios; 8. Insrua os usurio de forma breve sobre o uso dos equipamentos (Mouse, Teclado e etc.) 8:30-9:00 1. Notificar ao recepcionista a agenda de teste; 2. Abrir os laboratrios e salas; 3. Acender as luzes das salas de teste e de observao; 4. Ligar o prottipo (hardware e software); 5. Ligar os equipamentos de vdeo de udio; 6. Ligar o computador e abrir o programa de registro; 7. Fazer as etiquetas de rotulagem das fitas de vdeo; 8. Gravar as barras de cores no incio da fita (verificar a regulagem das cores na fita); 9. Avance 10 segundos na primeira fita; 10. Verifique a captura de som e vdeo; 11. Ajustar o enquadramento da filmagem; 12. Prepare o lanche e as bebidas; 13. Cumprimente os visitantes quando estes chegarem, indique um lugar para eles na sala de observao, entregue os materias do teste e oferea o caf; 14. Cumprimente o participante quando este chegar, indique quando ser o incio do teste e entregue os materias de leitura.

9:25-10:30 1. Aplique a primeira lista de tarefas; 2. Anote os problamas na folha correspondente.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Como deve ser o dia de teste?


10:30-10:40 1. Hora do intervalo (leve o usurio para a sala do caf); 2. Pare a gravao dos equipamentos; 3. Prepare o prottipo para a segunda parte do teste; 4. Coloque uma nova fita de vdeo, adiantando 10 segundos; 5. Faa o pedido para o almoo da sua equipe e dos visitantes; 10:40-11:30 1. Convide os usurios de volta para a sala de testes; 2. Ligue a filmadora; 3. Aplique o conjunto de tarefas restantes; 4. Escreva os problemas.

11:30-12:00 1. Pare o teste; 2. Aplique o questionrio; 3. Conduza o fechamento do teste com o usurio; 4. Realize o pagamento dos usurios; 5. Conduza os usurios at a sada; 6. Coloque o nmero (cdigo) no material do participante; 7. Coloque o material do usurio em uma pasta.

12:00-13:00 1. Almoo com os visitantes e conversa sobre os teste do turno manh; 2. Saque no banco o pagamento dos participantes do turno da tarde; 3. Prepare os dispositivos de registro; 4. Faa as cpias do material para os participantes; 5. Coloque o nmero dos participantes nos materiais; 6. Receba o participante; 7. Leve os visitantes para a sala de observao; 8. Prepare o prottipo para o incio do teste.

13:00-13:25 1. Leve o participante para a sala de teste; 2. Avance 10 segundos a fita; 3. Comece o registro; 4. Ligue o programa de captura; 5. Ajuste o ngulo das filmadoras; 6. Fornea as orientaes aos participantes e os formulrios; 7. Instrua os usurio de forma breve sobre o uso dos equipamentos (Mouse, Teclado e etc.)

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Como deve ser o dia de teste?


13:25-14:30 1. Aplique o conjunto de tarefas; 2. Escreva os problemas. 16:00-17:00 1. Discusso das observaes com os visitantes; 2. Conduza os visitantes at a sada; 3. Discuta as observaes com a equipe de teste; 4. Finalize a folha de problema; 5. Coloque a folha de problema na pasta do usurio; 6. Edite o arquivo de registro e limpo o equipamento; 7. Coloque este material na pasta do usurio; 8. Crie uma cpia de segurana dos arquivos do dia; 9. Verifique as fitas novas para o dia seguinte; 10. Limpe as salas de teste e de observao; 11. Leve o lixo para fora; 12. Desligue os equipamentos; 13. Deslique as luzes; 14. Feche as salas.

14:30-14:40 1. Hora do intervalo (leve o usurio para a sala do caf); 2. Pare a gravao dos equipamentos; 3. Prepare o prottipo para a segunda parte do teste; 4. Coloque uma nova fita de vdeo, adiantando 10 segundos; 14:40-15:30 1. Convide os usurios de volta para a sala de testes; 2. Ligue a filmadora e os equipamentos de registro; 3. Aplique o conjunto de tarefas restantes; 4. Escreva os problemas. 15:30-16:00 1. Pare o teste; 2. Aplique o questionrio; 3. Conduza o fechamento do teste com o usurio; 4. Realize o pagamento dos usurios; 5. Conduza os usurios at a sada; 6. Coloque o nmero (cdigo) no material do participante; 7. Coloque o material do usurio em uma pasta.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Siga de maneira compulsiva o seu checklist durante os dias dos testes.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Checklists A qualidade do teste de usabilidade com o passar dos dias pode ser perdida se no for usado um checklist. Quando os erros surgem o pesquisador tenta se desculpar, embora a dvida sobre a importncia do teste possa ficar. Sendo assim, os usurios podem considerar que o teste no to relevante para o pesquisador, embora ela tenha dito contrrio no incio. S existe uma forma de garantir a qualidade do teste e esta seguir de maneira compulsiva o checklist.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Observando os problemas e criando uma lista Assim como qualquer mtodo emprico, a chave para o sucesso est nas observaes feitas durante o procedimento. Portanto, no esquea de fazer as anotaes, usar dispositivos de registro para pontuar a frequncia com que os problemas ocorrem e o seu impacto nos seus colaboradores. O Registro deve ser feito considerando as suas observaes (o que voc est vendo) e as suas inferncias (passagem da hiptese concluso). Caso voc no tenha experincia como este tipo de teste ser necessrio fazer primeiro as observaes, deixando a fase de interpretao para depois do teste com o usurio. Esta recomendao indica uma conversa com a sua equipe de teste antes de formular os problemas.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

O que se espera compreender ao final do teste? Desvendar problemas! Todos aqueles que devem ser corrigidos. Os comportamentos que ns observamos podem ser sintomas destes problemas. Nossas hipteses e interpretaes ajudam-nos a compreender o escopo e a gravidade destes problemas, provendo os insights para criar boas solues.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Lio (1): Respeite o usurio

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Lio (2): Domine os objetivos da tarefa realizada pelo usurio

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Lio (3): Aceite as vrias oportunidades para melhorar o seu projeto

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Lio (4): Seja curioso

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Lio (5): Jogue fora os seus preconceitos

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Lio (6): Imagine que voc um antropologista

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Interao com os participantes Defina as tarefas de cada membro da sua equipe, objetivando restringir ao mximo a interao deles com os seus colaboradores. A interao deve ser planejada em funo das atribuies de cada membro da equipe.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Voc no estar no local de trabalho ou na casa do usurio para ajud-lo quando ele precisar.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Quando e como a interrupo deve ser feita? No incio ou no final de cada tarefa voc pode dizer: -palavras de incentivo; -palavras para lembrar dos procedimentos (avise ao usurio que ele dever indicar verbalmente o final da tarefa); -palavras que indicam o final de uma tarefa; -palavras que indicam o incio de mais uma tarefa; -palavars de instruo; -palavras de apoio. No influencie os participantes com as suas perguntas e com as suas respostas para eles.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Use palavras neutras nas suas questes

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Respondendo o usurio Quando o moderador se sentir em uma posio desconfortvel ou at mesmo pressionado, ele dever: 1. devolva a questo para o usurio; 2. no responde de forma direta.
Exemplo: Colaborador - Algum usurio deve tanta dificuldade como eu? Moderador - Voc teve mais dificuldades do que tinha previsto?

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Fornecendo ajuda ao participante Existe duas guidelines para fornecer ajuda aos participantes: 1- Seja amigvel e paciente sem importar a situao em que voc se encontre, mesmo com comentrios inesperados sobre o produto, voc ou o teste; 2- Fornea o mesmo nvel de ajuda em situaes semelhantes para os seus usurios, logo ser possvel criar as suas recomendaes para este tipo de situao.

A Practical Guide to Usability Testing

Cap. 19 Conducting the Test

Lidando com designers e gerentes Siga as orientaes seguintes para lidar com os designers e os gerentes, mesmo que eles no estejam na sala de observao. Ajude os projetistas a lidarem com os seus egos; Indique uma perspectiva gerencial; Mantenha a disciplina durante os teste.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data

Qual o foco? O foco do teste de usabilidade encontrar problemas reais com o produto, e com processo que foi usado para desenvolver o produto. Problemas reais so aqueles que causam dificuldade para usurios quando estes interagem com o produto em sua casa, escritrio, etc. A grande questo : Como encontrar problemas reais entre todos os dados que possui? Em testes de usabilidade, geralmente voc tem uma grande quantidade de dados sobre um pequeno nmero de participantes. Uma tcnica til para manipular essa rica quantidade de dados de vrias fontes a triangulao.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data

Lista de problemas

Problemas de usabilidade

Dados quantitativos dos registros e dos questionrios

Comentrios dos participantes e observaes da equipe de teste

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data

Qual o foco? Voc olha para todos os dados em conjunto para ver como cada grupo de dados se relaciona com outros. Por exemplo: um tempo de tarefa longo, freqncia de erros, comentrios dos participantes podem todos apontar para o mesmo problema. Quando voc triangular os trs tipos de dados, voc se sentir mais confiante que h um problema e que voc entende ele. O conceito de triangulao d a voc uma estrutura para pensar sobre todos os dados juntos. Desenvolver uma lista de problemas durante o teste muito til para agilizar a sua anlise. Ela d a voc uma direo (caminho) para procurar.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Tabulando e resumindo dados quantitativos O primeiro passo para se manipular os dados do teste fazendo folhas de resumos sobre o desempenho e medidas subjetivas. Para as medidas de desempenho, ser necessrio tabul-las para cada tarefa para cada participante. Por exemplo: para cada tarefa voc geralmente ir tabular, o tempo, o nmero de erros de vrios tipos, e outras medidas como o nmero de ajudas que o participante precisou. Tambm so feitas separadamente planilhas eletrnicas para os itens do questionrio de pr-teste e para itens dos questionrios de ps-tarefa e ps-teste. Os itens do pr-teste nos d um perfil demogrfico do participante. Os itens do ps-tarefa e ps-teste do medidas subjetivas que podem ser tabuladas. Alm disto, feito uma lista com os comentrios importantes que os participantes fizeram. Estes comentrios vm dos questionrios e das folhas de registros de dados. Finalmente, feita uma lista de comentrios que os membros da equipe de teste fizeram durante o teste.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Olhando para tendncias e surpresas nos dados Um teste de usabilidade um mtodo de avaliao emprico. Como tal, voc ter que justificar os problemas que relatou com os dados que voc coletou. Antes de voltar folha de problemas, olhe nos dados tabulados para tendncias que paream surpreendentes. Pode haver resultados que no to bvios quando foram vistos em cada participante separadamente, mas que se destacam quando voc olha para os nmeros de vrios participantes juntos. O autor cita a importncia de triangular os dados para identificar (o que) qual o problema.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Lidando com outliers nos dados Outro lugar para se ver resultados interessantes so os outliers. Um outlier um valor muito diferente (discrepante) do resto dos valores. interessante analisar casa um dos outliers a fim de entender a sua causa. Algumas vezes suas causas podem no ser um problema de usabilidade. Por exemplo, o tempo pode ter sido gravado incorretamente ou o seu equipamento pode ter dado um defeito. Em outros casos, estes tempos podem gerar indcios para problemas de usabilidade. O autor cita novamente a importncia de triangular outras medidas a fim de apontar o problema real.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Levando outliers seriamente O que acontece quando o problema acontece somente com um participante? Ns o ignoramos, pois ningum mais teve o problema? E se essa pessoa representa 20% dos usurios? Qualquer problema com qualquer usurio seriamente considerado. Primeiro voc olha as razes para o resultado incomum. O problema resultado de uma tarefa ou uma srie de tarefas? H algo nas caractersticas (experincia) do participante que o torna suscetvel? Quando voc tem pouco participantes num teste, um participante que tenha tido um problema pode representar um grande subconjunto de usurios que tambm iro ter este problema. Algumas vezes no h como saber, sem testar mais adiante, se o outlier uma anomalia ou um indicador de algo srio. Se voc encontrar um outlier que pode representar um grande ou importante grupo de usurios potenciais, voc pode trazer mais pessoas que tenham o mesmo perfil. Se voc fixa em problemas que um ou poucos participantes tem, voc pode tentar uma nova verso e ter certeza de que as dificuldades para aquelas pessoas no causam problemas para outros usurios.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Examinando os dados para problemas Aps ter olhado para os dados para ver se haviam problemas de usabilidade, hora de examinar os dados para ver se eles so consistentes com as hipteses que voc tinha antes de iniciar o teste. Voc quer olhar pra ver se: - preocupaes de usabilidade que voc tinha com o produto tm sido levado em conta no design. - metas de usabilidades fixadas tm sido alcanadas. - critrios quantitativos fixados para as tarefas tm sido encontrados ou excedidos.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Examinando suas preocupaes de usabilidade Considere o que os dados dizem sobre as preocupaes que voc listou enquanto planejava o teste. Por que as preocupaes guiaram voc a selecionar a tarefa para o participante fazer, cada tarefa ligada em uma ou mais preocupaes. Voc pode olhar para a folha de problema e dados tabulados para ver se a preocupao justificada.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Examinando metas de usabilidade Se voc estipulou metas de usabilidade para o produto, agora a hora de ver se o produto as tem alcanado.
Por exemplo: Estipular o tempo de 5 minutos para ler o primeiro e-mail.

Voc pode ver que a vantagem de estipular metas de usabilidade de tornar a analise dos dados muito mais fcil, por que ela permite isolar problemas importantes sem ter que vasculhar (peneirar) os dados para descobri-los.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data

Usabilidade significa fazer usurios produtivos e felizes. Portanto, ao estabelecer critrios quantitativos para o teste de usabilidade, voc deve focar no usurio e no no sistema ou produto. Analises das tarefas, entrevistas, focus group, testes de usabilidades anteriores ou outras interaes com o usurio, podem ajud-lo a estabelecer critrios para as medidas do teste de usabilidade. Para muitas medidas de desempenho, se pondo no lugar do usurio e o senso comum pode permitir a voc estabelecer critrios.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Examinando critrios quantitativos No capitulo 13 foi descrito como estabelecer critrios para as medidas de desempenho para cada tarefa, agora depois de estabelecido estes critrios a hora de examinar eles.
Exemplo: Para a tabela 20-1 na tarefa de criar e enviar uma mensagem de e-mail

-Excelente menos que 10 minutos -Aceitvel menos que 15 minutos -Inaceitvel mais que 15 minutos Encontrada algum problema necessrio que voc olhe outras medidas quantitativas, avaliaes dos participantes e comentrios, e sua lista de problemas para triangular sobre o que o problema.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Usando Estatstica A estatstica discutida ao longo deste capitulo se chama estatstica descritiva. Como o prprio nome j diz, ela voc a usa para descrever as propriedades de um grupo de dados. A analise de dados de qualquer teste de usabilidade sempre comea com uma descrio das caractersticas dos dados. H medidas de: - freqncia de registros, tal como o nmero de erros que ocorrem numa tarefa. - registros simples, tal como a mdia ou mediana de tempo por tarefa. - uma quantidade de registros variados, tal como o tempo para a tarefa. A maioria dos testes de usabilidade que o autor tem conduzido foi necessrio apenas o uso da estatstica descritiva junto com os dados qualitativos, tal como os comentrios dos participantes, para documentar no caso da presena de problemas de usabilidade.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Usando Estatstica Mas o que acontece quando o gerente de produo pergunta se os valores so estaticamente significantes? A resposta para essa questo requer o uso de um diferente tipo de estatstica chamada de inferential (dedutiva). Na estatstica de cunho indutiva, voc olha para os seus dados como uma amostra de um grupo maior de dados. Voc pergunta o que voc pode deduzir sobre o grande grupo de dados da amostra. A posio do autor contra o uso indutivo da estatstica na maioria dos casos. E ele aconselha a somente usar a estatstica inferential se voc entende bem como aplic-la e interpret-la e a explicar cuidadosamente os resultados do teste estatstico.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Organizando problemas por extenso e gravidade Voc necessita de um caminho para organizar os problemas que encontrados em um teste. A organizao que mais faz sentido em relao importncia. Mas o que torna um problema importante? Importncia segue para duas dimenses: - extenso Quanto difundido o problema? - gravidade - Quo critico o problema?

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Organizando o problema por extenso Problemas globais so mais importantes que problemas locais. A magnitude de problemas locais restrita. Em suas formas simples, eles se aplicam a apenas uma tela ou caixa de dialogo ou janela ou pagina do manual. A seguir um exemplo de problemas locais.
- O contedo de um menu de opes no to claro aos usurios. Quando participantes selecionam ele, observa-se que eles esto adivinhando qual a escolha correta. Se o problema restrito para uma ou duas opes, ele um problema local.

Problemas globais tm uma magnitude maior do que uma tela ou pagina. A seguir um exemplo de problema global.
- Os itens de um menu hierarquizado em um aplicativo so difceis de serem encontrados. Participantes gastam muito tempo toa buscando no menu o item desejado. Alm disso, o nmero de escolhas incorretas no diminui durante a segunda metade do teste.

Novatos em testes de usabilidade e muitos designers tendem a ver os sintomas de um problema global como uma srie de problemas locais. Em muitos casos a conexo entre os problemas locais no to bvia para pessoas sem treinamento e experincia com interao humano computador.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Organizando o problema por extenso Exemplo (teste de um software de gerenciamento de e-mails):
- Muitos participantes reclamaram se de fato que eles no sabem se o que eles escreveram foi de fato enviado. - Vrios participantes respondem a mesma mensagem mais de uma vez. Eles no tm certeza se suas respostas tem sido enviadas com sucesso. - Muitos participantes armazenaram a mesma mensagem cinco ou seis vezes seguidas, porque eles dizem que no conseguem saber se elas esto armazenadas. Elas permanecem na tela e no h uma mensagem dizendo que elas foram salvas naquele momento.

Estes no so problemas locais. Eles so sintomas de uma falta de feedback para as aes realizadas, e h provavelmente vrios mais exemplos disto no software.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Organizando por nvel de gravidade Ordenar problemas em categorias locais ou globais til para entender se o problema tem uma finalidade mais ampla. Porm, no suficiente para identificar que problemas deveriam ser corrigidos (ter ateno) primeiro (nvel de prioridade). O autor descreve uma tabela com quatro nveis de gravidade para os problemas. Nvel 1: Problemas que impeam a concluso de uma tarefa.
Exemplo: Usurios selecionam a opo errada no menu e depois no sabem mais para onde ir.

Nvel 2: Problemas que geram uma demora e frustrao significantes.


Exemplo: A falta de feedback em uma determinada tarefa.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Organizando por nvel de gravidade Nvel 3: Problemas que tem efeitos menores sobre a usabilidade.
Exemplo: Usando a mesma palavra para significar duas aes diferentes provocam questionamentos nos usurios sobre a escolha correta.

Nvel 4: Problemas que so mais sutis e freqentemente apontam para um encarecimento que podem ser adicionados no futuro.
Exemplo: O participante sugere uma determinada funo que ele considera interessante. Porm se o participante dizer que no usa o produto sem esta determinada funo, este problema pode passar a ser de nvel 1 para o produto.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Organizando por nvel de gravidade O autor chama este mtodo de ordenar problemas por gravidade como scale (escala), mas ele no quer dar a impresso de que eles medem a gravidade precisamente. Alm disso, ele descreve que se for interessante voc pode modificar a escala de acordo com a sua necessidade. Para muitas organizaes, a taxa de gravidade serve simplesmente como um caminho conveniente para ajudar a organizar os problemas de usabilidade. Uma vez que voc tenha ordenado os problemas por extenso e por nvel de gravidade, voc est pronto para por os problemas encontrados em ordem de importncia. Ordene eles primeiro por nvel de gravidade, depois em global e local.

A Practical Guide to Usability Testing

Cap. 20 Tabulating and Analyzing Data


Organizando por nvel de gravidade H um interessante dilema, que pode ocorrer quando voc ordena todos os seus problemas: Problemas locais de Nvel 1 so muito mais fceis de fixar que problemas globais de Nvel 1.
Por exemplo: Adicionar um passo perdido em um procedimento no manual mais fcil corrigir do que reorganizar um manual que confunde os usurios por ser organizado em torno do produto ao invs de tarefas do usurio.

Por que problemas locais so facilmente entendidos e corrigidos, pois existe uma tendncia dos designers focarem neles. Corrigir vrios problemas globais envolve um esforo de redesign substancial. Se voc est testando o produto numa etapa tardia do processo de design, designers sero facilmente mais resistentes a mudanas. O que os designers decidem sobre os problemas que voc encontrou durante o teste no o deveria impedir de descrever a gravidade de problemas de acordo com esta escala de classificao. Force a ter os problemas globais considerados, futuramente eles faro a diferena. Esta resistncia por parte dos designers mais uma razo pela qual os testes devem comear cedo.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results

Quando um teste de usabilidade realizado, as pessoas esperam um retorno que os diga quais so os problemas que precisam ser corrigidos. No captulo 21 do livro, so apontadas as formas de identificar e recomendar os problemas aos desenvolvedores. No captulo 22, so abordadas as formas mais apropriadas de comunicao dessas recomendaes.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results

Antes de pensar em qualquer recomendao, preciso distingir quais so os problemas complexos e quais so os mais simples. Voc pode dar uma srie de recomendaes e solues para um mesmo problema. Algumas solues vo atacar apenas os sintomas, enquanto outras mergulham nas causas dos problemas. preciso, portanto, considerar dois fatores: -olhar para o produto como um todo; -focar nos problemas globais.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results preciso, portanto, considerar dois fatores: - olhar para o produto como um todo; - focar nos problemas globais. A maneira mais rpida de dar uma soluo para um problema pode no ser a melhor. Por exemplo: Muitos usurios sequer olham os manuais. S o fazem quando tm um problema. Acrescentar explicaes para um determinado problema, no lugar de resolv-lo pode ser mais fcil, porm no vai adiantar... Seria prefervel melhorar a usabilidade do produto.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results preciso, portanto, considerar dois fatores: - olhar para o produto como um todo; - focar nos problemas globais. Resolver problemas globais requer muito mais conhecimento do que resolver os especficos. Primeiro, porque os problemas globais afetam diversos aspectos da interface. Segundo, porque os problemas globais apresentam uma srie de sintomas, mas os testes de usabilidade s conseguem identificar alguns deles, j que trabalham a partir de amostras e tarefas especficas.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results Considerando os problemas globais, preciso buscar as solues em equipe. Desenvolver programas com boa usabilidade exige esforo de equipe. Logo, a resoluo dos problemas tambm deve envolver a equipe como um todo. preciso, portanto, envolver: - os designers / desenvolvedores; - os especialistas em comunicao; - os especialistas em usabilidade.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results preciso, portanto, envolver: -os designers / desenvolvedores; -os especialistas em comunicao; -os especialistas em usabilidade. Voc deve inclu-los nas reunies de discusso das solues. Cham-los apenas quando o relatrio estiver pronto no uma boa estratgia. Alm de poder contar com a experincia deles no momento do desenho da soluo, muito mais fcil conquistar o apoio deles para a resoluo do problema quando eles participam da soluo. Saiba lidar com essa equipe. A tendncia que queiram atacar apenas os sintomas por falta de tempo mas se tiverem noo do todo, a resistncia ser menor e a credibilidade maior.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results preciso, portanto, envolver: -os designers / desenvolvedores; -os especialistas em comunicao; -os especialistas em usabilidade. Se o teste estiver envolvendo a anlise de documentao ou manual, bom envolver o pessoal de comunicao na equipe. A estrutura dos menus, as palavras a serem escolhidas para ttulos, mensagens e opes podem ser melhor definidas com a participao dessa equipe de profissionais. Em geral nem os desenvolvedores nem os especialistas em usabilidade tm essa competncia comunicacional / lingstica.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results preciso, portanto, envolver: -os designers / desenvolvedores; -os especialistas em comunicao; -os especialistas em usabilidade. Mudanas custam tempo e dinheiro. Antes de dar incio execuo das mesmas, preciso ter certeza de que so necessrias. Para tanto, a presena do especialista em usabilidade essencial.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results Qualquer que seja a situao, preciso buscar a melhor... ...RELAO CUSTO-BENEFCIO muito raro encontrar apenas uma soluo para um problema de usabilidade. Vejamos um exemplo: numa simples tarefa de um teste, quase todos os usurios se esqueceram de fechar a porta de um drive. Com isso, o sistema apresentava a seguinte mensagem: Cannot read from Drive A: Abort, Retry, Ignore? Todos gastaram uns 5 minutos testando as opes apresentadas. H vrias formas de resolver esse problema.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results Qualquer que seja a situao, preciso buscar a melhor... ...RELAO CUSTO-BENEFCIO muito raro encontrar apenas uma soluo para um problema de usabilidade. Vejamos um exemplo: numa simples tarefa de um teste, quase todos os usurios se esqueceram de fechar a porta de um drive. Com isso, o sistema apresentava a seguinte mensagem: Cannot read from Drive A: Abort, Retry, Ignore? Todos gastaram uns 5 minutos testando as opes apresentadas. H vrias formas de resolver esse problema. 1) No realizar mudanas. Treinar o help desk para esse tipo de suporte. 2) Melhorar os manuais de instruo. Acrescentar uma linha contendo insira o disquete no drive A e certifique-se de travar a portinha 3) Reescrever a mensagem da tela:
Cannot read from Drive A. Is there a disk in Drive A? Is the drive latch closed? Fix the problem and press Enter to try again.

4) Mudar o produto para que os usurios no tenham mais esse problema.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results 1) No realizar mudanas. Treinar o help desk para esse tipo de suporte. preciso buscar a melhor... relao custo-benefcio importante testar o produto quando ele ainda estiver em desenvolvimento, para que as correes no impliquem retrabalhos muito grandes. 2) Melhorar os manuais de instruo. Acrescentar uma linha contendo insira o disquete no drive A e certifique-se de travar a portinha 3) Reescrever a mensagem da tela:
Cannot read from Drive A. Is there a disk in Drive A? Is the drive latch closed? Fix the problem and press Enter to try again.

4) Mudar o produto para que os usurios no tenham mais esse problema.

A Practical Guide to Usability Testing

Cap. 21 Recommending changes


Cap. 22 Communicating the results

Uma vez realizada a correo, hora de testar para ver se os problemas realmente foram solucionados... Qualquer que seja a mudana, preciso planejar um novo teste. Felizmente o novo teste demandar menos tempo. Aqui vo razes para a economia de tempo: -voc j tem clareza dos objetivos; -voc j conhece os participantes; -voc j tem os cenrios, as tarefas, os materiais necessrios; -voc sabe o que quer medir. Basta aplicar o teste a alguns participantes e comparar com os resultados do primeiro. Se a performance for melhor, significa que as mudanas foram bem sucedidas.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Joseph S. Dumas Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Neste captulo so abordadas questes como: Qual a melhor mdia a ser usada para comunicar os resultados do teste? O que deve entrar no relatrio para que as pessoas o utilizem? Como planejar um relatrio? Como organizar, formatar e distribuir o relatrio?

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results


A melhor mdia, a forma, o contedo, enfim, a estrutura de seu relatrio depender do teste realizado e da organizao em questo. Se as pessoas que tero de ler o relatrio foram envolvidas desde o incio, bastar um memorando com uma lista das recomendaes... Um relatrio completo, entretanto, sempre bom, pois serve como documentao para outros testes. Se voc tiver preparando o relatrio para um cliente, o documento dever ser o mais completo possvel. Deve considerar at uma parte educativa, isto , que mostre a importncia e os porqus de cada item. Vejamos como essa estrutura pode variar em funo da audincia e da mdia...

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results


Qual a melhor mdia? -Verbal -Escrita -Visual

Feedback verbal sempre deve fazer parte da comunicao dos resultados. Entretanto, nunca deve estar sozinho... Mesmo que os desenvolvedores tenham acompanhado o teste, importante que voc converse com eles sobre os resultados.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results


Qual a melhor mdia? -Verbal -Escrita -Visual

Planeje algum nvel de feedback por escrito. No d para confiar na memorizao de todos os itens... Ao menos uma lista de recomendaes deve ser passada por escrito aos envolvidos.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results


Qual a melhor mdia? -Verbal -Escrita -Visual

Se voc tiver de convencer algum grupo sobre determinados aspectos, o apoio da mdia visual pode ser importante. Edite uma fita de vdeo com os principais pontos do teste e mostre ao grupo. A fita no substitui o relatrio escrito, apenas o complementa. Se o relatrio to importante e indispensvel, como faz-lo de forma que as pessoas o usem?

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results


Se o relatrio to importante e indispensvel, como faz-lo de forma que as pessoas o usem? H trs pontos fundamentais: 1) As pessoas que trabalham no tm tempo. Por isso, faa-o da forma mais simples possvel. Use listas, tabelas ajude as pessoas a encontrarem rapidamente a informao desejada. 2) Busque algum que faa uma reviso do documento. 3) Antes de escrever, analise os resultados, considere a natureza e a complexidade dos problemas. preciso planejar as recomendaes antes de escrev-las.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Escrever um relatrio como desenvolver um software... preciso: - planejar; - organizar; - fazer um rascunho; - formatar; - rever; - produzir cpias e distribuir. Entretanto, esse processo no deve ser muito demorado. Em geral, voc tem em torno de uma semana para faz-lo, apesar de ter de seguir todos os passos.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Na fase de planejamento, preciso pensar em aspectos como: - Quem vai ler (usar) o documento? - Por que voc est escrevendo aquilo? - O que vo fazer com o que est escrito? - O que deve ser includo? - Como organizar as informaes para facilitar a leitura? O primeiro aspecto, que definir as escolhas para os demais itens o pblico-alvo.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Quem vai ler (usar) o documento? s Em geral os relatrios so escritos para 2 pblicos distintos: - time gerencial; - desenvolvedores. preciso, pois, separar a mensagem em funo de cada pblico. Provavelmente voc no conseguir escrever um nico documento que sirva aos dois pblicos. Para o time gerencial, de repente basta um memorando, enquanto que para os desenvolvedores ser preciso algo mais detalhado.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Quem vai ler (usar) o documento? O que voc espera de cada pblico? Todos os documentos que circulam num ambiente de trabalho devem ser funcionais. Portanto, voc precisa escrever buscando atingir seus objetivos de forma clara e precisa. Faa escolhas conscientes de contedo, organizao e formato.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Quem vai ler (usar) o documento? O que voc espera DOS GERENTES? Ao escrever para o time gerencial, voc espera que eles tomem algumas decises, tais como: -aceitar que o produto precise de mais tempo para ser finalizado; -mudar a data de lanamento do produto; -pagar por mudanas necessrias; -concordar com a realizao de novos testes etc. Como atingir tais objetivos? preciso que os principais pontos venham logo no incio do relatrio, numa espcie de resumo executivo, pois s isso ser lido por esse pblico...

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Quem vai ler (usar) o documento? O que voc espera DOS DESENVOLVEDORES? Como eles precisaro obter mais detalhes sobre os pontos a serem corrigidos, prudente que voc separe uma seo de resultados e recomendaes. Seria interessante tambm criar um checklist com pargrafos curtos ou bullet points que os orientasse.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

O quo persuasivo voc deve ser? O tom do relatrio deve ser adequado. Voc precisar perceber o que deve ser justificado e o quanto de motivao deve ser dada para que as mudanas sejam realizadas.

Se voc simplesmente diz: Sou um cientista objetivo. Estou apenas relatando os fatos., ...voc deve esperar que os desenvolvedores digam: Sou um profissional de programao. Estou apenas criando os cdigos necessrios para que o programa funcione.

No estamos sugerindo que voc distora os fatos, mas preciso dizer as coisas de uma forma que ajude que os outros acreditem nos resultados e queiram mudar o que for preciso...

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Num relatrio desses devemos incluir aspectos positivos do teste?

O foco do relatrio est na identificao dos pontos que precisam ser corrigidos. Entretanto, os educadores sabem bem que, a melhor maneira de fazer com que o outro escute os pontos negativos comear mencionando os aspectos positivos. Se h pontos positivos, mencione-os. S no se esquea do objetivo do relatrio... No v gastar todo o espao com os aspectos positivos, deixando os negativos para segundo plano.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

A organizao do relatrio...

Antes de mais nada, um ponto importante: Se diferentes grupos vo se encarregar das solues/recomendaes, ajude-os, dividindo o relatrio em sees. As mais comuns so: -Problemas de hardware; de software -Problemas de software que se relacionam com os manuais; -Problemas de instalao.

Exemplo de estrutura de relatrio...

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results


Exemplo de estrutura de relatrio... Relatrio do teste de usabilidade ABC 1) Sumrio executivo
Dois ou trs pargrafos que falem sobre o produto testado, perodo do teste, quem fez o teste, quais foram os objetivos, os participantes (quantos, de que grupos), principais resultados, plano para a correo dos problemas.

2) Descrio do teste
Dois ou trs pargrafos que falem sobre o produto testado, perodo do teste, quem fez o teste, quais foram os objetivos, os participantes (tabelas que caracterizem os grupos), descrio das tarefas e cenrios e os mtodos adotados.

3) Descrio dos resultados


Breve introduo acompanhada de algumas pginas com tabelas de registros de dados das tarefas, resultados dos questionrios e lista de descobertas.

4) Concluses e recomendaes
Ponto chave do relatrio, contendo: descobertas, explicaes e justificativas, alm das recomendaes.

5) Anexos

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

A organizao do relatrio... Mesmo considerando a estrutura apresentada, fundamental saber ordenar os pontos por importncia. Os problemas mais graves devem vir primeiro, assim como os problemas mais globais devem vir antes dos especficos. Uma vez adotada um estrutura, o ideal mant-la em todo relatrio... Por exemplo descrever todos os problemas da mesma forma: Problema: Explicao:

Recomendao:

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

A organizao do relatrio... No se esquea de que o relatrio deve ser breve e objetivo. Seguem, abaixo, algumas dicas; -Escrever na voz ativa; -Escrever pargrafos curtos -Usar listas e tabelas Para dar consistncia, inclua alguns depoimentos de participantes que possam reforar os principais pontos apontados. Por fim, vejamos aspectos de layout, reviso e impresso e distribuio...

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Formatao, reviso, impresso e distribuio

O layout quase to importante quanto o contedo do relatrio. Se voc quer que as pessoas leiam o relatrio, faa-o convidativo e fcil. Formate o relatrio de modo que as pessoas possam rapidamente encontrar as informaes que buscam. Use ttulos, listas, deixe espaos em branco para separar os itens.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Formatao, reviso, impresso e distribuio

Os demais colaboradores da organizao do teste devem ajud-lo a rever o relatrio. Quando for compartilhar o documento, espere sugestes. Esteja aberto para ouv-las. bvio que voc no precisa acatar todas elas, mas algumas sugestes podem ser interessantes.

A Practical Guide to Usability Testing Cap. 21 Recommending changes

Cap. 22 Communicating the results

Formatao, reviso, impresso e distribuio

Antes de distribuir qualquer verso do relatrio, faa uma edio do mesmo. Confira erros gramaticais, de ortografia e coisas desse tipo, pois erros assim desviam a ateno do leitor e diminuem a credibilidade do documento. Distribua o relatrio pelos canais apropriados, mas certifique-se de que as pessoas que precisam receb-lo tiverem acesso ao mesmo.

Obrigado! Sentirei saudades de vocs...

Вам также может понравиться