Вы находитесь на странице: 1из 24

08 

 
Spring Semester 
 

 
 
 
 

 
 

A Usability Evalua;on of Google 
 

Calendar Using Heuris;c and 
 
 
Coopera;ve Evalua;on Techniques 
 
 
Sharon Brosnan 
 
0651869 Digital Media Design 
   
This paper is an inves;ga;on into the usability of Google Calendar using Heuris;c (Expert) 
and Coopera;ve (User‐Centred) Evalua;on techniques. The processes of the evalua;ons 
 
from an inves;gator’s point of view as well as from the users are documented. The system’s 
 
usability flaws and posi;ve features are outlined through a heuris;c evalua;on and 
coopera;ve evalua;on. A heuris;c evalua;on is an assessment of a user interface design 
 
from an end users point of view. A coopera;ve evalua;on is a research technique that 
 
allows designers to discover usability problems in a system while allowing the designer and 
users to work together. It was found that there are several usability problems with Google 
 
Calendar and several solu;ons that could greatly improve this. 
 
 
 

 
 
 
 
H u m a n    C o m p u t e r   I n t e r a c / o n    
CS4826 Project 
 
 
Introduction 

Google Calendar 
 
Google Calendar is a web application offered by Google. It is a free online 
sharable calendar. It allows scheduling, organizing and time‐management 
available online. 
It can be viewed in day, week or month mode and allows the user to scroll 
through time. It’s available in over 15 languages and offers many features, such 
as Quick Add: the user can click anywhere on the calendar instantly type in 
phrases which it Google Calendar understands and enters into the schedule.  
It allows Calendar Sharing: it is possible for the user to share their schedules 
with friends and family. 
Google Calendar offers the function of sending invitations to family and friends 
through the application, allowing comments to be made on the event and RSVPs 
to the event. 
There is a search function in the calendar, which can be used to Jind a certain 
agenda item, or the user can even search public calendars to Jind public events. 
To use Google Calendar the user does not have to be a Gmail user but if they are 
Gmail recognizes events in the users inbox and adds the events to the calendar. 
Events can be imported from other calendar programs such as Microsoft Outlook 
calendar, making Google Calendar very versatile. Multiple calendars can also be 
formed in Google Calendar for different aspects of the users life, such as for 
work, college, social life etc. 
There is also mobile reminder service available, Google texts the users mobile 
phone ten minutes previous to the event on the calendar.  
 
(Google 2008) 
 
A usability evaluation of Google Calendar would be constructive as it is a recent 
application and has become very popular in since its launch in 2006. As it is a 
new application one would expect many usability problems but has been 
described as the easiest scheduling system to use. 
 
We think [Google Calendar] is the simplest calendar out there.
(Mashable! 2006‐2008)

Google’s marketing of the Calendar also claims this. 
 
Using Google Calendar, you can add events and invitations effortlessly, share with friends
and family (or keep things to yourself), and search across the web for events you might enjoy.
It's organizing made easy.

(Google 2008) 

  1 
Evaluation Techniques 
In order to conduct an assessment of the user interface and usability issues with 
Google Calendar, I am performing a Heuristic Evaluation and Cooperative 
Evaluation on it.  Heuristic evaluation is a popular method when conducting 
research into the usability problems. It is cheap and easy to perform. The 
guidelines for performing this type of evaluation are laid out and straightforward 
(Jacob Nielson 2005) few resources are required when carrying out the 
evaluation, and no formal training is required to do the evaluation and it can be 
used early in the development process. (Usability Professionals' Association 
(UPA) 2005)  

Cooperative evaluation is a cost effective technique for identifying usability 
problems in systems and software. It can be used at any stage of the system 
development. Users thoughts and actions can be acquired using this technique. 
This type of evaluation can be performed with little to no training on the 
investigators part. 
By combining the heuristic evaluation and cooperative evaluation we can learn a 
lot about Google Calendars. Both techniques use different method to gain the 
results, which can lead to more thorough conclusions. Cooperative evaluation 
promotes communication between the user and investigator, while in heuristic 
evaluations the investigator takes on the role of the user to learn about the 
system. Making use of these two systems together can teach more about more 
about the system and the usability issues throughout. 
 

 
 
 
 

 
 
 

 
 
 
 

  2 
 
Heuristic Evaluation 

A heuristic evaluation is the assessment of a user interface design. It is easy and 
cheap to do. The purpose of conducting one is to Jind the usability problems in 
the design from an end user’s point of view. The interface is examined and is 
reviewed using a set of recognized usability principles. There are usually several 
evaluators who examine the user interface individually and then communicate 
their Jindings to each other. Their results are recorded. There is then a user test 
in which the evaluator observes the user’s actions to understand the usability 
issues in the interface design. 
(Jacob Nielson 2005) 
Heuristic Evaluation (expert review) is a diagnostic method in which experts take the role of
less experienced users and describe the potential problems they see arising in a system or
interface for those users. The review is based on compliance with a set of principles
(heuristics).

(Society for Technical Communication 1998‐2004) 
 
There is a set of ten principles that the evaluation is based on 

1. Visibility of system status 
2. Match between system and the real world 
3. User control and freedom 
4. Consistency and standards 
5. Error prevention 
6. Recognition rather than recall 
7. Flexibility and efJiciency of use 
8. Aesthetic and minimalist design 
9. Help users recognize, diagnose, and recover from errors 
10. Help and documentation 
 
(Jacob Nielson 2005) 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

  3 
 
 
Heuristic Evaluation 
 
1. Visibility of system status 
The system should always keep users informed about what is going on, through 
appropriate feedback within reasonable time. 
2. Match between system and the real world 
The system should speak the users' language, with words, phrases and concepts 
familiar to the user, rather than system‐oriented terms. Follow real‐world 
conventions, making information appear in a natural and logical order. 
3. User control and freedom 
Users often choose system functions by mistake and will need a clearly marked 
"emergency exit" to leave the unwanted state without having to go through an 
extended dialogue. Supports undo and redo. 
4. Consistency and standards 
Users should not have to wonder whether different words, situations, or actions 
mean the same thing. Follow platform conventions. 
5. Error prevention 
Even better than good error messages is a careful design, which prevents a 
problem from occurring in the Jirst place. Either eliminates error‐prone 
conditions or check for them and present users with a conJirmation option 
before they commit to the action. 
6. Recognition rather than recall 
Minimize the user's memory load by making objects, actions, and options visible. 
The user should not have to remember information from one part of the dialogue 
to another. Instructions for use of the system should be visible or easily 
retrievable whenever appropriate. 
7. Flexibility and efJiciency of use 
Accelerators ‐‐ unseen by the novice user ‐‐ may often speed up the interaction 
for the expert user such that the system can cater to both inexperienced and 
experienced users. Allow users to tailor frequent actions. 
8. Aesthetic and minimalist design 
Dialogues should not contain information, which is irrelevant or rarely needed. 
Every extra unit of information in a dialogue competes with the relevant units of 
information and diminishes their relative visibility. 
9. Help users recognize, diagnose, and recover from errors 
Error messages should be expressed in plain language (no codes), precisely 
indicate the problem, and constructively suggest a solution. 
10. Help and documentation 
Even though it is better if the system can be used without documentation, it may 
be necessary to provide help and documentation. Any such information should 
be easy to search, focused on the user's task, list concrete steps to be carried out, 
and not be too large. 
 
 
 
 
 

  4 
 
 
A Heuristic Evaluation of Google Calendar 
 
I set out a series of test to evaluate the main features of Google Calendar: 
 
• Add an event to calendar 
• Change event 
 
Once signed in the user is taken directly to the calendar. There is a monthly view 
of the calendar as well as a weekly schedule in the main screen.   
 
 
Add an Event to Calendar 
 
1. Visibility of System Status 
To add an event the user clicks ‘Create Event’, this link takes the user to a new 
screen in order to input details on the event to be scheduled.  This screen uses 
simple everyday language, for example, ‘What’, ‘When’, ‘Where’ and ‘Description’. 
 

 
Figure 1­Add Event 

 
To add an event quickly the user clicks on the time of the day they want. A pop 
up window appears promptly with a text input box for details, there is even an 
example under the box so the user can understand what the system is asking for. 
 

  5 
 
Figure 2­Quick Event Add 

 
 
A button marked ‘Create Event’ is below. Once clicked the pop up item 
disappeared and the event entered into the schedule immediately. There were 
no observable delays, with the tasks being done within the second. Once clicked 
there was also a highlighted piece of text informing me that the task was done, 
“Your event was created.” However this was small. 

 
Figure 3­Event Created 

  6 
 
2. Matches Between System and Real World 
The language used is easy to understand and straightforward. If one wants to 
place an event in the calendar one clicks the ‘Create Event’ button. The calendar 
options appear in a natural order, with the main options at the left side of the 
screen and the search button at the top. The order of the options makes sense in 
the real world making choices easy to Jind. 
On data entry the tasks are described in terminology familiar to the user, using 
clear language avoiding computer jargon.  
 
3.  User Control and Freedom 
There is user control throughout the system. When creating an event through the 
‘Create Event’ link the user is taken to a new screen where they can add an event, 
after entering in the details necessary the user can choose to ‘Save’ or ‘Cancel’. As 
this can be considered a serious option it is useful to be prompted to conJirm the 
command or cancel out of operations if necessary. These buttons are located at 
both the bottom and top of the screen. 

 
Figure 4­Save, Cancel Option 

However if the user added an event using the ‘Quick Add’ system it is more 
difJicult to delete/edit the event as it is entered into the calendar at once. It is 
possible to delete/edit the entry if the very small upper section of the event is 
selected. This selection item is very small and the user is likely to click on the 
bigger lower section Jirst, which takes them to a screen, which describes the 
event but does not give options to edit. 

  7 
 
Figure 5­Event Details 

 
4. Consistency and Standards 

The system is very consistent, using the same vocabulary throughout the 
process. The layout for the screen standardized also. The “Exits” or 
‘Save’/’Cancel’ buttons appears at both the top and bottom of the screens where 
necessary. And the label Jields are consistent from one data screen to another, 
such as the menu to the left of the screen. 

5.  Error Prevention 
In order for the user to add an event in the ‘Create Event’, they have to choose a 
time. The choice is a scroll down menu. To choose a date the scroll down menu 
changes into a mini calendar allowing the user to click on a speciJic date. The 
menu also has more scroll down menus for reminder preferences as well as so 
the user can see their choices clearly before saving the event to their calendar. 
This can omit human error to a great extent. 

 
Figure 6­Scroll Option 

 
6. Recognition rather than recall 
As mentioned above there is the option to add a quick event, this entails clicking 
on the time and date on the menu box on the screen in front of them. This is a 
very visible structure, as the user doesn’t have to go to extra menus/options. It is 
quick and simple. 

  8 
When creating an event, the input boxes are in the same places along with short 
details as to what should be entered into the text box. This is an effective 
measure for recognition for the user. 

 
7. Flexibility and efJiciency of use 
There are several accelerators or keyboard shortcuts: 

c        Create Event 
/  Search 
p or j  Previous date range 
n or k  Next date range 
t  Jump to "Today" 
d  "Day" view 
x  Customized view 
w  "Week" view 
m  "Month" view 
a  "Agenda" view 
q  Quick Add 
s  Settings 
Esc or u  Back to calendar 
Enter  Expand 
Tab  Next Jield 
Alt then s  Save 
Esc or u  Back to calendar 
(Google 2008) 
 
These can help the user speed up their interaction with the system. Both new 
and experienced users would Jind these useful. 
 
 
8. Aesthetic and minimalist design 
The input text boxes have only one word indicators, “What”, “Where” etc. These 
are simple and uncomplicated. An example for one box is a clear sentence 
describing a task that may be done, “Example: Dinner with Michael 7pm 
tomorrow”. The information shown is relevant. 
When creating an event the date input box has an example of the format 
necessary for the key in, the time input has the same objective. 
 
9. Help users recognize, diagnose, and recover from errors 
There were no errors encountered. 
 

10. Help and documentation 
Although the system can be used without documentation, help documentation is 
provided. There is a link to ‘Help’ at the top right of the screen, which opens into 

  9 
a new window. At the left hand side of the screen there is a ‘Tour’ of the system a 
user can use which would be useful for people just introduced to the system. In 
the ‘Help Centre’ a user can look in three main headings for a problem/task, 
“Learn The Basics”, “Fix A Problem”, “Learn More”.  At the right  
Any such information should be easy to search, focused on the user's task, list 
concrete steps to be carried out, and not be too large. 
  
(Google 2008) 
 
 
 
 
 

 
 
 

 
 
 
 

 
 
 

 
 
 
 

 
 
 

 
 

  10 
Cooperative Evaluation 
 

a. Method 
a.i. What is Cooperative Evaluation 
Cooperative evaluation is a research technique that allows designers to discover 
usability problems in software. The users and investigators work together to 
evaluate the system. 
The technique encourages design teams and users to collaborate in order to identify usability
issues and their solutions.

(Emmus 1999)  
When carrying out this investigation, users are asked to perform tasks laid out 
by the investigator. These tasks are chosen to let the user explore the system, 
which will be related to their needs. The users are asked to use the “Think Aloud” 
method, in which they talk about what they are doing, what they except to 
happen etc.  
 
A method for studying mental processes in which participants are asked to make spoken
comments as they work on a task.

 
These thoughts will be recorded and collected for later analysis. 
 
The method is useful in most stages of the design. In early stages to evaluate the 
prototype, for feedback in order to redesign if necessary, and detect usability 
problems early. Or in a later stage to develop the product further. The purpose of 
cooperative evaluation is to help develop the product. 
It is to help you identify the most important improvements to consider with the minimum of
effort.  

(Haber) 

The user’s thought process when using the system can be gained during the 
evaluation and the investigator can help the user in using the system if 
necessary. This method can also be implemented with little training involved. It 
is an informative method of evaluation. 
There are limitations to the technique however. It can result in large amounts of 
Jindings which all have to be analysed. 
(Emmus 1999)  
   
This method is not useful in the earliest stages of the design process as the tasks 
may not be available to carry out during the evaluation. It cannot determine the 

  11 
quality of the system as the designer is the one carrying out the evaluation and 
this type of assessment is should be carried out but an unbiased third party.  
(Haber) 
 
a.ii. Conducting the Cooperative Evaluation 

In conducting the cooperative evaluation, the Jirst step was to recruit users. 
Google Calendar has a wide range of potential users. For my assessment, I 
decided that University students involved in the committee of a Club or Society 
would be the best choice as these students generally have busy scheduales and 
many need a schedualing system in order to keep track of lectures, meetings etc. 
The students all have different scheduales and have different roles in their 
respective club or society. They also have no previous experience with Google 
Calendar or any other schedualing software. These are typical potential users of 
the system. 
I decided three users would be practical to test as this would give me the 
overview of the system I was looking for and learn if problems were found 
between the three users or subject only to one.  
 
The tasks I laid out are the most functional of Google Calendar. They are typical 
of the main tasks that Google Calendar offer and the most used. They are also 
what the recruited users would be using the software for. The tasks are speciJic 
and limit the users to the main calendar and will keep the users in focus while 
completing the tasks. The task list is a set of goals that are to be completed by the 
user. (See Appendix B‐Task Layout) 
The subjects were given 45 minutes to complete the tasks laid out. This session 
will be sufJicient time for the initial assessment to be done. 
 
The evaluation took place in an empty room on campus. I booked a room in the 
Students Union to carry out the evaluations. The room was comfortable and 
reasonably quiet. 
 
Before the user entered the room I had a laptop set out with the internet 
explorer opened and a task list next to the laptop where the user would be 
sitting. In order to record what the users were doing and saying I took notes on 
their actions on screen and recorded their audio using the recording software on 
my mobile phone, which was placed on the table out of their way.  
 
When the users entered the room I put them at ease. I explained what a 
cooperative evaluation is to them in an informal manner, and how I expected 
them to use the system (while not revealing how to use the system). I explained 
that I was looking for mistakes that the system causes and not the mistake that 
they may make, emphisising that I was evaluating the system and not the user. I 
explained what I expected them to do in terms of the ‘Thinking Aloud’ method, 
and how long the evaluation would last. I then gave the user the task sheet and 
started recording. 
 

  12 
While the mobile phone recorded what the user was saying, I took notes on what 
the user was doing, user mistakes, hesitations, unexpected behaviour, correct 
choices etc. When the user had a problem I encouraged them to Jind their own 
solution, and also encouraged them to tell me what they were thinking while 
carrying out the tasks. I also asked several question throughout the process, 
‘What were you expecting to happen?’, ‘What has the system done now?’. These 
questions were used to promote the ‘Thinking Aloud’ method. 
 

a.iii. Ethical Treatment of Participants 
Several steps were taken to ensure the ethical treatment of the participants. I 
was truthful when brieJing the users on what they were expected to do and how 
the information obtained would be used. This was done in several steps. 
• Honest and trustworthy with the representation of tasks 
• Aware against discrimination toward participants 
• Participants allowed to decline in taking part in evaluation at any time 
• Privacy was respected‐All information is conJidential, participants are not 
to be identiJied or identiJiable in any way 
• Emphasis that the system was being evaluated and not the participant 
• Participants were entitled to not have their data included in the report 
• Participants were asked to read and understand the Declaration of 
Informed Consent (See Appendix A‐ Declaration of Informed Consent) 
 
(Association for Computing Machinery, Inc. 2008) 
 

b. Analysis 
 
Task 1‐Login to Google Calendar using the given Username and Password 
 
This task was relatively simple. All participants found the login fast and 
straightforward. All three have had experience logging in to Google or a system 
similar to Google. 
Task 2‐Locate the Google Calendar 
 
The participants were taken straight to the calendar page, and so located the 
calendar without any hesitation. 
Task 3‐Change calendar view to see only the next 4 days 
Participant 2 found the tab to change the view quiet quickly, she knew precisely 
where to look to Jind the viewing option. Participant 1 found it quite easily as 
well assuming that the tab was in the top right corner. Participant 3, however, 
took some time in locating the tab.  He let his tab hover over the left hand menu 
before spotting the options on the top right; he noted “the viewing options should 
be nearer the small calendar [mini‐calendar]”. 

  13 
Task 4‐Add this event to your calendar 
The participants were given an event to add to the calendar. Participants 1 and 2 
used the same option when adding the event. With no hesitation they clicked on 
the speciJied date to add the event. Participant 1 stated, “it was a guess, but the 
obvious choice all the same.” Participant 2 felt similar to this. Participant 3 took a 
different route however, he clicked the ‘Create Event’ option in the left hand 
menu, and he spotted it as he read over the page earlier in the evaluation. All 
three found the feedback sufJicient, as a read marker appeared on the time that 
the event was taking place. Overall, to add an event to the calendar is a very easy 
task. 

Task 5‐Edit this Event 
Participant 2 and 3 found the edit option quite quickly by clicking the event and 
clicking ‘edit event details’ in the pop‐up menu. Both were quite happy with this 
method of editing the event. Participant 1 was not sure how to edit the event, 
and took a series of hit and miss efforts. She tries Right‐Clicking on the event, this 
brought up no Google Calendar options however. She then tried highlighting the 
event to no avail. She then clicked on the event to Jind the edit option. After she 
stated, “Clicking on it was the most obvious thing to do, but I thought it seemed too 
easy!” 
Participant 1 noted how clear the edit menu is and that the two ‘Save’ buttons 
(one at the top of the screen and one at the bottom) made the editing much 
faster as she did not have to scroll down to the bottom of the screen to save and 
exit. 

When editing the event Participant 2 did not read the instructions next to the 
input boxes, entering the location of the event in the wrong input box. She soon 
saw her mistake and subsequently read the instructions on the page. She also 
found the feedback for this change after clicking save was not obvious. 

Task 6‐Find another way to add this event  
Participant 3 was the only participant who found this task easy, he immediately 
clicked the ‘Quick Add’ function in the left menu. He said this was because he had 
read it earlier when he was doing the ‘changing view’ task, and assumed it would 
add an event to the calendar. Participant 1 and 2 did not Jind an alternative as 
easy. Participant 1 maneuvered the mouse over the header, mini‐calendar and 
calendar views, and could not Jind it. She asked for help after two minutes of 
searching. Participant 2 took several failed attempts at clicking on the calendar 
(which was her original way to add an event) before scanning the page more 
thoroughly for the alternative. She found the ‘Create Event’ button quite swiftly 
after. 
Task 7‐Add the above event to the calendar for the next 3 weeks 
 
The participants all found this task easy to initiate. All participants clicked on the 
task they wished to repeat and went into the ‘Edit’ window. Participant 3 stated, 
“There’s no other place I would’ve thought to look for it.” Participant 2 and 3 found 

  14 
the process straightforward, and carried the task out without any problems. 
Participant 1 however found the layout confusing. Although she found the edit 
menu easily, she was slightly puzzled by the options for the repeats, “It was hard 
to make sense of it, but once I thought about what they’re asking, it’s alright.” 
 
Task 8‐Search for Event 
 
All three participants found this task very simple. They all brought the mouse up 
to the search bar at the top of the screen without hesitation. Participant 1 found 
it typical stating, “It’s just like Google.”, with participant 3 in agreement, “The 
searching is usual of most sites.”  
The only problem the participants found was, if they pressed ‘Enter’ Google 
would search the ‘Public Calendars’ and not their personal ones, the feedback 
when searching their personal calendar was quite well however. 
 
Task 9‐Delete this event 
 
Participant 2 and 3 realised how to delete the event straight away and said this 
task was very easy. Participant 1 trial clicked on the event, only to Jind the 
‘Delete’ button. She said that she was not positive as to where the ‘Delete’ button 
would be.  
 
b.i. Performance Analysis 
Although Google Calendar does have a lot of obvious and simple to use 
attributes, there are some aspects of the system that could do with clariJication.  
There are three ways to add an event to the calendar, however two of the 
participants could one Jind a second method of adding an event after much 
searching.  This could be due to a lack of an icon; one participant stated she could 
not Jind the tab because “it’s just plain text.” Although the feedback is usually 
quite good in the system, after editing an event the users were not sure of the 
changed they had implemented had been saved. Participant 2 asked me if her 
changes had been applied, and had to go about and check if they had been. 
 

 
 

 
 
 
 

  15 
Conclusions and Recommendations 
Google Calendar is an easy to use system with very small usability issues. With 
both the heuristic evaluation and the cooperative evaluation I found the system 
to be quite useful and simple on the usability scale. Google Calendar is an 
understandable system, using everyday language in a layout that is not cramped 
in anyway. There is a quick and almost immediate response time after inputting 
data with feedback throughout. 

The system has recognition as learned with both evaluations. The participants 
knew how to do several tasks through recognition. The system, overall, is 
exceptionally useable, giving the user complete control over the calendar and it’s 
functions; there are, however, a few design issues throughout. 
a. Feedback 
The feedback in the system could be better. When an event is created there is 
obvious feedback, as a coloured tab covers the date and time that the event was 
created for, letting the user know that the event has been saved. The other 
feedback in the system is not as obvious however. See Figure 7‐Feedback 
 

 
Figure 7­Feedback 

This is the feedback throughout. I believe the users would beneJit from a bigger 
or more obvious feedback system, possibly where the user clicks ‘Save’ (Figure 
8‐Save Now), it could change to ‘Saved’ and to a different colour before going to 
the updated calendar. (Figure 9‐Changes Saved) 

 
Figure 8­Save Now Option 

 
Figure 9­Changes Saved 

 
b. Adding an Event 
Creating an event is a usability issue. Although there is the obvious choice to 
click the date and time on the calendar of when the event is to take place, 
sometimes this is not possible if the date is months ahead and so the user will 
have to enter the event in a different way. There are two buttons in the left 

  16 
menu, these are not clear to the user if the user does not know where to search 
for them. See Figure 10‐Add Event Buttons‐Green Box, the labels within the 
green box are the only other two ways to add an event. 

 
Figure 10­Add Event Buttons­Green Box 

If a logo or icon were designed to be placed next to the buttons the usability of 
this system would improve greatly. 

 
Figure 11­An icon to the left of the labels would improve usability 

 
If these two design setbacks were re‐evaluated it would greatly improve the 
system in all respects. It would make for faster usage, as users would not have to 
go back and check their changes are saved and users won’t have to search for the 
option to add an event. 
 

 
 
 
 

  17 
Discussion 
The heuristic evaluation and cooperative evaluation were excellent assessment 
methods for Google Calendar. Google Calendar is a simple tool, designed for most 
people, and I found it interesting to investigate how well design it was using 
these methods. 
Heuristic evaluations and cooperative evaluations are both cheap and easy 
methods to use, but both give thorough results when implemented correctly.  
Usability in systems in general is needed to give fast and non‐frustrating system 
operation. People are more likely to make use of usable systems if they are well 
designed.  
Designing with the users in mind is the most important part of design, the users 
are the people who will potentially pay money for this product and will need it to 
work according to their life style. If the system is not designed for the users 
needs it might as well not be there at all.  
By combining the expert and user‐centred evaluation techniques one can learn a 
lot about the system. By Jirst using the expert evaluation (heuristic) I learned 
how the system worked and what I wanted to learn from the users. It gave me 
the initial questions that began the cooperative evaluation (user‐centred). 
There may be some unavoidable issues that have had a bearing on my 
evaluation. Since a heuristic evaluation is usually done with a team of 
investigators I may have had a bias in my work, or possibly have missed a design 
feature that a team of more than one person would not have missed. Within the 
cooperative evaluation I found that users sometimes became absorbed in their 
work and stopped talking, this was dealt with by asking “What are you doing 
now?”, however I could have stopped this from happening in the Jirst place by 
asking them questions as they spoke, or reminding them to speak to me. 
Overall the evaluations were a success, I learned how to conduct usability 
evaluations and that systems can be improved immensely with just one or two 
small changes. 
 
 
 
 

 
 
 

 
 
 
 

  18 
References 

 Jacob Nielson (2005) ‘Heuristic Evaluation’ [online], available: 
http://www.useit.com/papers/heuristic/ [accessed 09/03/08] 
Society for Technical Communication (1998‐2004) ‘Usability Techniques: 
Heuristic Evaluation Activities’ [online], available: 
http://www.stcsig.org/usability/topics/articles/he‐activities.html [accessed 
09/03/08] 

 Jacob Nielson (2005) ‘Ten Usability Heuristic’ [online], available: 
http://www.useit.com/papers/heuristic/heuristic_list.html [accessed 
09/03/08] 

Google (2008) ‘Google Calendar Tour’ [online], available: 
http://www.google.com/intl/en/googlecalendar/tour.html [accessed: 
09/03/08] 

 Google (2008) ‘Welcome To Google Calendar’ [online], available: 
http://www.google.com/intl/en/googlecalendar/overview.html [accessed: 
09/03/08] 

  Mashable! (2006‐2008) ‘40+ Tools For Google Calendar’ [online], available: 
http://mashable.com/2007/08/30/google­calendar/ [accessed 09/03/08] 

Association for Computing Machinery, Inc. (2008)  ‘ Code of Ethics’ [online], 
available: http://www.acm.org/about/code­of­ethics [accessed: 25/04/08] 
Emmus (1999) ‘Cooperative Evaluation’ [online] available: 
http://www.ucc.ie/hfrg/emmus/methods/coop.html  [accessed: 25/04/08] 
Habar, J. ‘Cooperative Evaluation: How to Do it.’ 

Usability Professionals' Association (UPA) (2005) 
 
 
 

 
 
 

 
 

  19 
 
Appendices 

Appendix A. 

Declaration of Informed Consent 
I,  the  undersigned,  hereby  declare  that  I  am  willing  to  take  part  in  a  research 
project  that  is  part  of  a  fourth  year  course  assessment  for  the  CS4826  module 
Human‐Computer  Interaction  at  the  University  of  Limerick.  The  nature  of  this 
study is as follows: 
 
Title: A Heuristic Evaluation of Google Calendar Using Heuristic and Cooperative 
Evaluation Techniques 
 

Purpose: In this study we intend to evaluate Google Calendar in terms of 
it’s  usability.  This  involves  asking  users  to  perform  certain  tasks  offered 
by  the  system  or  product  that  are  representative  of  the  types  of  tasks 
users  would  normally  perform  using  this  system  and  give  feedback  in 
terms of how usable or otherwise the system or product is.  
 
I declare that I have been briefed on the nature of this study and my role in it and 
have been given the opportunity to ask questions before agreeing to participate. 
I understand that my role in this evaluation is as a co‐evaluator and that this is 
not  an  evaluation  of  my  ability,  knowledge  or  intelligence,  rather  it  is  an 
evaluation of the computer system or product in terms of its design. 
 

The particular tasks that I will be required to perform have been explained to me 
and I understand them. I also understand that that I will be required to “think‐
aloud”  while  performing  these  tasks.  The  “thinking  aloud”  method  has  been 
explained  to  me  and  I  understand  that  no  personal,  private  or  conJidential 
information is required from me.  
 

I  fully  understand  that  there  is  no  obligation  on  me  to  participate  in  this  study 
and  that  I  am  free  to  withdraw  my  participation  at  any  time  without  having  to 
explain  or  give  a  reason.  I  also  understand  that  I  am  also  entitled  to  full 
conJidentiality  in  terms  of  the  details  of  my  participation  and  my  personal 
details.  I  understand  that  some  or  all  of  the  recorded  data  (verbal  and 
behavioural)  may  be  used  (quoted)  in  the  report  on  the  evaluation  for 
illustrative  purposes  but  I  shall  not  be  identiJiable  from  this  data  either  in  the 
body of the report or in appendices. 

  20 
 
I also understand that my participation in this study may be recorded by video or 
audio  means  as  well  as  through  notes  taken  by  my  co‐evaluators  running  the 
evaluation only with my consent. I am entitled to copies of all recordings made 
during the session if I so wish to have them. 
 
I acknowledge the fact that deception and concealment are inappropriate for and 
not required in this study and that no attempt will be made to elicit information 
or actions from me using these means.  
 
 
 
________________________________              ______________________ 
 
Signature of participant                Date 
 

 
 
 

 
 
 
 

 
 
 

 
 
 
 

  21 
 
Appendices 

Appendix B. 
 
Task for A Heuristic Evaluation of Google Calendar Using Heuristic and 
Cooperative Evaluation Techniques 
 
Task Layout  

 
Please carry out the following tasks on Google Calendar 
http://www.google.com/calendar/ 
When carrying out the tasks speak out loud about what you are doing, using the 
“Think Aloud” method, speaking your thoughts about the system, what you are 
doing and how you are performing these tasks.  
 

 
1. Login to Google Calendar using the given Username and Password 
 
2. Locate the Google Calendar 
 
3. Change calendar view to see only the next 4 days 
 
4. You are meeting Mary for coffee on the 7 June from 2‐3pm for a reunion in 
Java’s. Add this event to your calendar 
 
5. Edit this Event so the time is now 4.30pm 
 
6. Find another way to add the event – College Lecture 11.00am in EG010 
 
7. Add the above event to the calendar for the next 3 weeks 
 
8. Search for event ‐ babysitting 
 
9. Delete this event 
 

  22 
 

Appendices 
Appendix C. 
 
Questions on Task 

 
(These questions I found useful when taking notes on what the user was saying. 
These were for my beneQit when evaluating the systems and listened for the 
answers when the user was “Thinking aloud”) 

 
What did you think about the feedback of Google Calendar? (Was it clear/unclear 
that the task you have set in motion has worked?) 

 
Did you Jind tasks easy/difJicult to carry out? How so? 
 

Did you feel you had complete control over the system? Did anything happen 
that you did not intend on happening? 

 
Did you Jind the editing/deleting of events easy/difJicult? 
 
Was the system consistent? 

 
Did the system have an obvious/complicated layout? (Is it standardised?) Please 
explain. 
 
Do you Jind the layout of the system relevant/irrelevant in what you intend to 
accomplish? 
 
Recovery from errors. 
 

  23 

Похожие интересы