Нормоконтролер: Медведева М. A.
доцент, к.ф.-м.н., доцент
Екатеринбург
2021
Министерство науки и высшего образования Российской Федерации
Федеральное государственное автономное образовательное учреждение
высшего образования
«Уральский федеральный университет имени первого Президента России Б.Н. Ельцина»
УТВЕРЖДАЮ
Зав. кафедрой Гайнанов Д.Н.
_________________
ЗАДАНИЕ
на выполнение выпускной квалификационной работы
2
6. Консультанты по проекту (работе) с указанием относящихся к ним разделов*
Подпись, дата
Раздел Консультант
задание выдал задание принял
7. Календарный план
№ Наименование этапов выполнения Срок выполнения Отметка о
п/п работы этапов работы выполнении
1. Введение, заключение 27.04.2021-16.05.2021
2. 1 глава 27.04.2021-16.05.2021
3. 2 глава 27.04.2021-16.05.2021
4. 3 глава 27.04.2021-16.05.2021
5. Нормоконтроль до 21.05.2021
6. ВКР в целом до 01.06.2021
Руководитель _________________________ __Чернильцев А.Г.
(подпись) (Ф.И.О.)
Задание принял к исполнению _______________________________________
(подпись)
8. Выпускная квалификационная работа закончена 1 июня 2021 г.
Пояснительная записка и все материалы просмотрены
Оценка консультантов: * а) ____________________ б) ____________________
в) ____________________ г) ____________________
Считаю возможным допустить Меташеву Яну Сергеевну защите его выпускной
квалификационной работы в экзаменационной комиссии.
Руководитель _______________________
(подпись)
9. Допустить Меташеву Яну Сергеевну к защите выпускной квалификационной работы в
экзаменационной комиссии (протокол заседания кафедры №5 от «07» июня 2021 г.).
Зав. кафедрой __________________ Гайнанов Д.Н.
(подпись) (Ф.И.О.)
3
РЕФЕРАТ
4
Объектом исследования является информационная система Уральского
федерального университета — POS Family Card. Предметом исследования
является процесс разработки концепции внедрения UX-исследований и оценки
эффективности мобильного приложения.
Научная новизна состоит в том, что в результате анализа большого
количества зарубежной литературы по теме пользовательского интерфейса,
пользовательского опыта и расчета эффективности UX-дизайна сделан вывод
о необходимости систематизации данных о пользовательском опыте
в российском сегменте с целью повышения всеобщей осведомленности
и обеспечения конкурентоспособности продуктов на рынке, а также вывод
о потребности в автоматизации процесса вычисления необходимых метрик.
Практическая значимость заключается в создании прототипа мобильного
приложения, которое позволяет оценить эффективность мобильного
приложения за счет вычисления показателей эффективности пользовательского
опыта, а также получить рекомендации по улучшению показателей с помощью
инструкций проведения UX-исследований. Данная разработка может быть
внедрена в любой компании, использующей мобильное приложение в качестве
основного или дополнительного инструмента получения прибыли.
Экономическая эффективность проекта заключается в том, что
по результатам расчетов рассматриваемый проект является рентабельным
и имеет высокую инвестиционную привлекательность.
5
СОДЕРЖАНИЕ
ВВЕДЕНИЕ .................................................................................................................. 7
1 ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ ПРОЕКТИРОВАНИЯ ИНТЕРФЕЙСА
И МЕТОДЫ ИССЛЕДОВАНИЯ ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА ... 10
1.1 Концепция проектирования пользовательского опыта ............................... 10
1.2 Анализ результатов исследований в области пользовательского опыта .. 12
1.3 Методы UX-исследований ............................................................................. 20
1.4 Интерактивный дизайн ................................................................................... 26
1.5 Измерение эффективности UX-дизайна ....................................................... 28
Результаты и выводы первой главы .................................................................... 43
2 ПРИМЕНЕНИЕ МЕТОДОВ UX-ИССЛЕДОВАНИЙ ....................................... 44
2.1 Характеристика деятельности организации ФГАОУ ВО «Уральский
федеральный университет им. Б. Н. Ельцина» .................................................. 44
2.2 Архитектура организации .............................................................................. 48
2.3 Моделирование бизнес-процесса «Оценка эффективности мобильного
приложения» .......................................................................................................... 68
2.4 Применение методов оценки эффективности мобильного приложения .. 75
Результаты и выводы второй главы .................................................................... 86
3 РАЗРАБОТКА ПРОЕКТА МОБИЛЬНОГО ПРИЛОЖЕНИЯ ДЛЯ ОЦЕНКИ
ЭФФЕКТИВНОСТИ UX-ДИЗАЙНА МОБИЛЬНЫХ ПРИЛОЖЕНИЙ ............. 87
3.1 Разработка концепции мобильного приложения для оценки
эффективности UX-дизайна мобильных приложений ...................................... 87
3.2 Проектирование дизайна мобильного приложения .................................... 90
3.3 Экономическое обоснование ......................................................................... 96
Результаты и выводы третьей главы ................................................................. 105
ЗАКЛЮЧЕНИЕ ....................................................................................................... 107
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ............................................. 109
6
ВВЕДЕНИЕ
8
− Adobe Illustrator;
− Figma.
Научная новизна состоит в том, что в результате анализа большого
количества зарубежной литературы по теме пользовательского интерфейса,
пользовательского опыта и расчета эффективности UX-дизайна сделан вывод
о необходимости систематизации данных о пользовательском опыте
в российском сегменте с целью повышения всеобщей осведомленности
и обеспечения конкурентоспособности продуктов на рынке, а также вывод
о потребности в автоматизации процесса вычисления необходимых метрик.
Практическая значимость заключается в создании прототипа мобильного
приложения, которое позволяет оценить эффективность мобильного
приложения за счет вычисления показателей эффективности пользовательского
опыта, а также получить рекомендации по улучшению показателей с помощью
инструкций проведения UX-исследований. Данная разработка может быть
внедрена в любой компании, использующей мобильное приложение в качестве
основного или дополнительного инструмента получения прибыли.
Информационно-эмпирической базой данного исследования являются
нормативные акты, стандарты и политики деятельности компании, результаты
собственного исследования деятельности предприятия, литературные
источники.
Магистерская диссертация включает в себя введение, заключение, список
использованных источников и следующие главы:
− теоретические аспекты проектирования интерфейса и методы
исследования пользовательского интерфейса;
− применение методов UX-исследований;
− разработка проекта мобильного приложения для оценки эффективности
UX-дизайна мобильных приложений.
9
1 ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ ПРОЕКТИРОВАНИЯ ИНТЕРФЕЙСА
И МЕТОДЫ ИССЛЕДОВАНИЯ ПОЛЬЗОВАТЕЛЬСКОГО
ИНТЕРФЕЙСА
11
Несмотря на существование множества определений, в том числе
описанного в международном стандарте, на сегодняшний день не существует
общепринятого определения дизайна пользовательского интерфейса: это
многоаспектная концепция, которая может меняться в зависимости от взгляда
пользователя. Можно заметить, что авторы работ в данной области используют
различные объяснения термина, однако большинство согласно с целью, которую
преследует дизайн пользовательского интерфейса — создание полезных
продуктов для пользователя. Так, Оксфордский журнал «Interacting with
Computers» провел исследование [19], в котором была представлена кривая UX
— метод, направленный на помощь пользователям в составлении отчетов о том,
как и почему их опыт с продуктом изменился со временем. Авторы определяют
целью UX улучшение удовлетворенности и лояльности пользователя благодаря
полезности, простоте и удовольствию, получаемому при взаимодействии
с продуктом.
1.2 Анализ результатов исследований в области пользовательского опыта
Процессы, которые реализуются в UX-дизайне — те же процессы, которые
помогают построить устойчивый и успешный бизнес. Грамотный UX-дизайн
дает возможность не только сделать пользовательский опыт комфортнее,
но и привлекать большее количество клиентов, что в свою очередь приводит
к росту прибыли.
UX-исследования проводятся повсеместно для повышения прибыли
организаций и имеет место быть в любой компании вне зависимости от того,
управляет им компания или нет. Компании, способные оценить
пользовательский опыт у своих продуктов и стремящиеся увеличить
конкурентные преимущества на рынке, вероятнее будут вкладываться
в новаторские проекты, сводя к минимуму траты на краткосрочные
и неперспективные. Тем не менее, как показывает практика, сегодня
в большинстве случаев отечественные компании отдают предпочтение
вложениям в другую деятельность, направленную на повышение экономической
эффективности. Проведение исследований пользовательского опыта не стоит
12
в приоритете: несмотря на развитие направления в российском сегменте
и огласку среди молодых компаний и стартапов, становление UX-дизайна как
неотъемлемого элемента при разработке проектов находится на ранних стадиях.
Оптимизация UX-инициатив важна для того, чтобы производить
высококачественные продукты и предоставлять высококачественный сервис,
оказывая положительное влияние на финансовые результаты компании.
Измерение экономической ценности UX-дизайна только начинает исследоваться
в академической литературе. Труды иностранных авторов указывают
на недостаток исследований методов оценки влияния UX-дизайна
на экономические результаты. На сегодняшний день рассматривают показатель
возврата инвестиций ROI для UX-дизайна, показывающего рентабельность
вложений в данную деятельность и позволяющего оценить влияние UX-дизайна
на показатели экономической эффективности организации.
В последние несколько лет наблюдаются заметные изменения в области
исследований пользовательского опыта: от классических исследований
юзабилити технологическая индустрия перешла к дизайн-подходам,
количественным исследованиям, A/B тестированию и телеметрии [15].
Многие UX-исследователи обратились к генеративным методам, отдавая
предпочтение этнографическим и контекстным исследованиям, интервью,
фокус-группам и изучению так называемых дневников. Предпосылками
изменений стала деятельность многих организаций по проведению
пользовательских исследований без участия UX-специалистов: UX-
исследования превратились в одну из дисциплин, изучающих потребителей, что
делало их сложно выделяемыми — становилось сложнее отличить исследования
пользовательского опыта от других, например, рыночных и продуктовых.
В то время как дисциплина переживала кризис, в культуре agile-разработки
продуктов основными составляющими становились дизайн и Data Science:
дизайн-мышление, моделирование данных, интеграция/внедрение
минимизировали роль UX-исследований. Однако, учитывая «перекрестную»
природу дисциплины, UX-исследователи играют лидирующую роль
13
в истолковании пользовательских нужд на язык, понятный бизнесу. На развитие
дисциплины влияет раскрытие ключевых сведений количественных данных,
синтез поведенческих данных [13], а также дизайн-мышление.
Главная цель UX-дизайна заключается в повышении уровня
удовлетворенности продуктом у пользователей посредством улучшения
юзабилити. Литература на тему пользовательского опыта, написанная
в последние несколько лет, указывает на существование двух основных
подходов к оценке UX: качественного и количественного [20], при этом,
не обязательно сопоставимых друг с другом, а иногда — противоположных.
Учитывая, что пользовательский опыт формируется средствами
пользовательских взаимодействий и восприятий и пользователи могут получать
различный опыт, используя одни и те же технологии, UX нельзя назвать
идентичным и устойчивым при каждом пользовании. Пользовательский
интерфейс вносит большой вклад в пользовательский опыт, так как его дизайн
значительно определяет опыт, получаемый при использовании технологии [14].
В исследовании, посвященному изучению роли UX-профессионалов
в agile-разработке [9], авторы рассматривают различные классификации ролей
UX-специалистов, наиболее инклюзивной посчитав распределение
на исследователя пользователей (user researcher), дизайнера взаимодействий
(interactive designer), юзабилити-аналитика и UX-менеджера. Помимо
представленных иногда фигурируют роли профильного эксперта, дизайнера
(visual designer), программиста интерактивных прототипов и технического
писателя. Авторы данного исследования создали таблицу, резюмирующую
различные литературные оценки ролей, задач и зон ответственности UX-
специалистов согласно отрасли знаний. Из таблицы видно, что направление UX
относится как минимум к 16 ролям, которые в свою очередь распределены
по 11 зонам ответственности. Благодаря данной информации мы видим, что одна
роль может иметь разные зоны ответственности и наоборот.
Появление смартфонов несколько лет назад изменило понятие мобильных
телефонов, которые со своими приложениями стали незаменимой составляющей
14
человеческих коммуникаций и большой частью жизни. Среди мобильных
программных обеспечений первое место по росту в количестве занимают
приложения для онлайн-шоппинга [25]. Процессы дизайна интерфейса
мобильных приложений изменяются все чаще: мобильные устройства
предоставляют все больше услуг, поэтому компании, занимающиеся
разработкой мобильных приложений, сегодня имеют большой рост и влияние
на рынке. Практически все типы приложений сегодня разрабатываются для
мобильных телефонов (в дополнение к веб- и десктопным версиям или
исключительно для мобильных телефонов), так как это аппаратное обеспечение
доступно многим людям на планете [18].
Wonchan Choi и Bengisu Tulu в своем исследовании, посвященному
эффективности использования UI/UX в приложении [27], представили тестовую
гипотезу на основании теории эффективного использования Бертона-Джонса
и Гранджа. Упомянутая теория имеет два главных концепта: эффективное
использование и исполнение. Основополагающее предположение теории
заключается в том, что эффективное использование улучшает исполнение,
то есть чем выше уровень эффективности использования, тем лучше исполнение,
достигаемое пользователем. Теория определяет три показателя эффективного
использования — прозрачное взаимодействие, репрезентативная точность
и информируемое действие — и два показателя исполнения: результативность
(effectiveness) и эффективность (efficiency), рисунок 2.
15
Рисунок 2 — Эффективное использование и его влияние на исполнение,
A. Burton-Jones, C. Grange.
18
Рисунок 4 — AARRR метрики Дейва МакКлюр
19
Главной задачей данного этапа становится нахождение способа убедить
пользователя порекомендовать продукт своему окружению, обеспечив тем
самым монетизацию. Данные метрики полезно учитывать при разработке
успешного с точки зрения бизнеса проекта.
20
Рисунок 5 — Методы UX-исследований, Opium Pro
21
от попытки создать продукт «для всех». При этом персона не обязана покрывать
каждый аспект жизни гипотетического пользователя: их дизайн важен для
описания характеристик, которые влияют на проектируемый продукт. Вероятнее
всего бизнесу понадобится несколько персон, чтобы покрыть различные аспекты
организации, при этом имея одну или две основных, наиболее
идентифицирующих главные сервисы.
Важно понимать, что создание персон — это не то же, что определение
пользовательских групп. При рассмотрении широких категорий пользователей
должны использоваться диапазоны для обобщения атрибутов целой группы,
однако эти данные являются слишком обезличенными и непростыми для того,
чтобы быть использованными при проектировании. Наоборот, персоны
позволяют выделить специфические детали и важные функции группы. Не менее
важно помнить, что дизайн-персоны, которые по определению направлены
на факторы, влияющие на поведение пользователя (опыт пользования похожих
сервисов, цели, характеристики, важные для работы с продуктом и т.д.),
отличаются от маркетинговых персон, которые фокусируются
на демографической информации, покупательской способности и мотивации.
Тем не менее, персоны не являются единственной исчерпывающей частью
проектирования и на практике никогда не используются самостоятельно:
предпочтительнее прибегать к использованию данного метода в совокупности
с другими. Одним из таких методов являются пользовательские сценарии —
краткие истории о персоне, использующей продукт или сервис для достижения
определенной цели [24]. Главной целью составления сценариев является
определения способа работы дизайна. Сценарии должны содержать полную
информацию о процессе, через который проходит пользователь, желающий
достичь определенную цель, но не обязаны задевать техническую часть. Кроме
того, при составлении сценариев нет необходимости для описания решений
задач, так как поиск возможных решений, поставленных при составлении
сценария для персон, является отдельным, следующим шагом при работе
со сценариями, цель которого — сформулировать задачи дизайнера
22
на основании проблем, уязвимостей иы крепких предположений. Сценарии
используются для описания и того, что происходит в системе в данный момент,
и поведения, которое ожидается. Данный метод используется для юзабилити
тестирований, генерации идей, при итеративных подходах.
Другим способом решения проблем, с которыми могут столкнуться
пользователи, является карта пути пользователя (User Journey Map или CJM —
Customer Journey Map), которая позволяет зафиксировать весь набор
взаимодействий пользователя с продуктом, оценить качество опыта и в отличие
от сценариев, использующихся для описания выполнения индивидуальных
задач, показывает весь путь пользователя от начала взаимодействия до конечной
цели. Кроме того, на практике данный способ зачастую используется для
оптимизации продукта, так как в подобных ситуациях имеются аналитические
данные, с которыми можно работать. Для качественного построения карты
важно соотнести все пункты, через которые проходит пользователь,
со следующими критериями: действия, вопросы, позитивные моменты,
негативные моменты, возможности. Подобно SWAT-анализу, данный метод
позволяет найти способы превращения уязвимостей в возможности для
улучшения опыта и продукта.
На стадиях проектирования продукта, подразумевающих поиск способов
решения проблем, определенных различными методами исследования,
значительную роль играет проверка гипотезы. На данном этапе определяются
качественные и количественные показатели, подтверждающие гипотезу
и существование проблемы, а также существующие саб-гипотезы. Чтобы
определить, какие допущения нужно протестировать, составляется матрица
приоритезации в виде оси координат с двумя критериями: рискованность
и подтвержденность. Самые рисковые и неподтвержденные гипотезы
подвергаются проверке в первую очередь с помощью таких методов, как
интервью, опрос, аналитика, анонсы и другие. Одним из самых полезных
способов является прототипирование пользовательского опыта, так как помогает
оценить то, насколько удобным является продукт, однако важно помнить, что
23
данный способ не позволяет подтвердить наличие самой проблемы
и, соответственно, необходимости в ее решении.
Так, при A/B-тестировании, часто используемом для оптимизации
и подразумевающем определение наиболее успешного решения из двух путем
эмпирического сравнения пользователями [17], исследователи не могут сделать
вывод о самой необходимости существования данных решений. Кроме того,
действенность A/B-тестирования коренится в предположении о том, что члены
целевых групп обоих вариантов предлагаемого решения задаются случайным
образом.
Именно по данной причине одной из современных проблем данного
метода исследования является нахождение достойного алгоритма рандомизации.
В своей работе «A/B testing at LinkedIn: Assigning variants at scale» [47] Александр
Иванюк и Вейтао Дуан предлагают несколько подходов к решению проблемы:
использование генератора случайный чисел и использование хэширования,
рисунок 6.
25
благодаря предыдущему опыту пользования подобными продуктами
и образовавшимся паттернам поведения.
Исследования на основании минимально жизнеспособного продукта
(MVP), т.е., согласно автору концепта, такой версии продукта, которая обладает
достаточными для удовлетворения потребностей клиента функциями
и позволяет проектной команде собрать максимум подтвержденной информации
о покупателях [56], должны проводиться согласно общепринятой модели Джасси
Пасанен, рисунок 5.
27
физическими и интеллектуальными возможностями. Любое дизайнерское
решение способно на включение или исключение определенных групп
пользователей [31], а инклюзивный дизайн отражает осознанность бренда
по отношению к разнообразию пользователей и осведомляет клиентов о своем
вкладе, формируя лояльное отношение к продукту и привлекая большее
количество пользователей. Из определения термина «универсальный дизайн»,
введенного Роналдом Мейсом, следует, что дизайн является таковым, если
он эластичен и пригоден к использованию всеми вне зависимости
от социального статуса, возраста и способностей [32]. Такой дизайн
предполагает простое и интуитивное использование и направлен на постоянный
поиск превосходящих в функциональности решений.
Консорциумом Всемирной паутины (W3C) было разработано Руководство
по обеспечению доступности web-контента (WCAG) [35] — рекомендации,
способствующие повышению уровня удобства использования интернета для
всех. Документ широко используется дизайнерами, разработчиками,
тестировщиками и аналитиками для оценки интерфейса.
Большинство решений, над которыми трудятся разработчики приложений,
завязаны на визуальной составляющей. Особенно важно убедиться, что
создаваемый продукт будет доступен пользователям с нарушениями зрения
и другими трудностями и иметь универсальный, инклюзивный дизайн:
адаптивный, соответствующий стандартам цвета и контрастности, наполненный
читаемым текстом и заметными медиафайлами, имеющий возможность
подключения вспомогательных технологий и в целом отвечающий стандартам
WCAG. Прогрессивность дизайна — один из самых значительных инструментов
во взаимодействии с пользователем.
28
проводимых исследований и внедрения конкретных практик, необходимо
связать пользовательский опыт с повышением общих KPI-метрик организации
и измерить улучшения с течением времени [55]. Один из наиболее
результативных методов — проведение бенчмаркинга деятельности.
Р. Рейдер трактует бенчмаркинг как «процесс определения, понимания
и адаптации имеющихся примеров эффективного функционирования компании
с целью улучшения собственной работы» [4]. Таким образом, UX-бенчмаркинг
позволяет оценить продуктовый пользовательский опыт используя метрики,
определяющие отношение производительности к определенным стандартам [41]
и является методом проведения сравнительного анализа по стандартному набору
метрик двух промежуточных версий продукта, находящихся на последнем этапе
разработки [40]. Данные метрики зачастую собираются во время использования
количественных методов исследования: юзабилити-тестирования, аналитика
или опросы.
В рамках UX-бенчмаркинга тестируют диджитал-продукты,
их инструменты или функции в сравнении с конкурентами (конкурентный
бенчмаркинг), но чаще всего — с различными работающими версиями
или итерациями. Постоянный и непрерывный бенчмаркинг создает основу
для понимания текущего UX сайта, приложения или другого диджитал-
продукта. Большой частью оптимизации пользовательского опыта является
оценка продуктивности UX по сравнению с продуктами конкурентов, однако для
данной оценки требуется наличие готовности конкурентов и лидеров индустрии
делиться информацией о процессах, которые реализуются на их предприятиях,
что не является популярной практикой в России, хотя уже имеет предпосылки,
и осознание возможности роста темпов развития в условиях высокой
конкуренции благодаря обмену опытом растет.
Целью проведения бенчмаркинга становится необходимость отследить
совокупный прогресс продукта, продемонстрировать ценность UX-инициатив
и/или сравнить пользовательский опыт с предыдущей версией, конкурентом,
показателем индустрии или с целью, поставленной стейкхолдером. На более
29
высоком уровне бенчмаркинг является способом оценки совокупной
продуктивности продукта. Проведение такой оценки осуществляется в конце
одного дизайн-цикла и перед началом следующего — с учетом того, что дизайн
находится в постоянном совершенствовании для того, чтобы продукт мог всегда
оставаться компетентным и конкурентоспособным на рынке. Бенчмаркинг чаще
всего является комплексом действий, многократно повторяющимся после
внедрения модернизированных версий продукта.
Nielsen Norman Group предлагает семь этапов в процессе создания
программы тестирования продукта: выбор объекта измерений, выбор способа
измерения, сбор первичных измерений, редизайн продукта, сбор остальных
измерений, интерпретация результатов и по выбору — вычисление возврата
инвестиций. Последний пункт возвращается циклом в четвертый, тем самым
обеспечивая постоянную оценку выбранных метрик. Рассмотрим каждый шаг
подробнее.
Выбор объекта, подвергающегося измерениям, является первым шагом
и подразумевает определение продукта, целевой группы пользователей
и ключевые задачи, необходимые в оценивании, которые выполняют
пользователи при использовании продукта. После определения данных
категорий происходит выбор метрик, по которым будут оцениваться задачи.
Один из способов установить подходящие метрики — обратиться к платформе
HEARTS от Google, которая представляет собой обзор различных показателей,
таблица 1.
Таблица 1 — Фреймфорк HEARTS от Google
Группа метрик Описание Сигналы Примеры метрик
Happiness Измерение отношения Участие в опросах, Рейтинг
(счастье) и восприятия оценивание удовлетворенности,
пользователей по пятибалльной рейтинг простоты
шкале, оставление использования, NPS
отзывов (Net Promoter Score)
30
Engagement Измерение уровня Проведение Среднее время
(вовлечен-ность) вовлеченности большего кол-ва выполнения задачи,
пользователей времени использование функций
в приложении
Adoption Знакомство Загрузка и запуск Количество
(принятие) с продуктом и его приложения, скачиваний, количество
признание регистрация новых пользователей /
аккаунта, посетителей,
использование новых коэффициент
функций конверсии, продажи
продукта или новых
функций
Retention Как часто Продолжительное Количество
(удержание) пользователи проявление вернувшихся
возвращаются активности пользователей,
к продукту в приложении, скорость возвращения,
и насколько активно обновление отток, количество
пользуются подписки, обновлений подписки
совершение
повторяющихся
покупок
Task success Эффективность Быстрое нахождение Количество ошибок,
(успешность решения задач и просмотр контента, количество успешных
решения задач) с помощью продукта завершение задач решений задач, среднее
и возникновение эффективным время выполнения
ошибок образом задачи, коэффициент
отсева
33
тестирования. Считается средним арифметическим ответов респондентов
и помогает определить, какие задачи можно упростить.
UMUX / UMUX-Lite (Usability Metrics for User Experience) — метрика,
созданная в качестве альтернативы SUS и состоит из четырех (двух в Lite)
вопросов о функциональности и простоте продукта. При использовании
семибалльной шкалы UMUX рассчитывается по формуле (4):
𝑄1 + 𝑄3 − 𝑄2 − 𝑄4 + 12
𝑈𝑀𝑈𝑋 = ∗ 100%, (4)
24
где QN — результат ответа на N-й вопрос по семибалльной шкале.
При этом UMUX-Lite рассчитывается по формуле (5):
𝑄1 + 𝑄2 − 2
𝑈𝑀𝑈𝑋 − 𝐿𝑖𝑡𝑒 = ∗ 100%, (5)
12
где QN — результат ответа на N-й вопрос по семибалльной шкале.
SUM (Single Usability Metric) — метрика состоит из шести показателей,
после проведения вычислений по формуле которые показывают число от 1 до
100, представляющее среднее следующих показателей: завершенность задания,
затраченное на задание время, показатель ошибок, ощущаемые затраты времени,
ощущаемая сложность и удовлетворенность. Данная метрика является
предметом для споров многих исследователей, и согласно оценке Microsoft
на основании их 2,5-летнего использования метрики [26] SUM привел компанию
к столкновению с трудностями при ее вычислении и интерпретации результатов.
Вышеупомянутые метрики являются наиболее известными
и используемыми на практике. На основании результатов данных метрик
принимаются решения о дальнейших действиях по отношению к модернизации
продукта. Прежде чем получить результаты, необходимо собрать данные,
которые понадобятся для вычисления.
Таким образом, следующим шагом в UX-бенчмаркинге является расчет
ресурсов, которые необходимо потратить на сбор данных и выбор способа
измерения. Считается, что существуют три метода UX-исследования, которые
при носят результаты: количественные тестирования юзабилити, аналитика
и опросы. Юзабилити-тестирование подразумевает выполнение определённых
34
задач пользователями и сбор показателей, отражающих производительность
пользователей при выполнении данных задач. Аналитические данные можно
получить благодаря использованию веб-аналитики или аналитики приложения
(автоматически данные об использовании системы). Благодаря опросам можно
оценить сложность выполнения задач, удовлетворённость и другие
отношенческие показатели. Синергия методов позволяет получить наиболее
точные показатели. Результатом данного этапа является сопоставление
продукта, его задачи или функции, списка используемых метрик и метода
исследования. Следующий этап, третий, подразумевает сбор данных по базовым
метрикам, выбранных на предыдущем этапе. На основании результатов,
полученных после интерпретации данных, происходит переход на следующий
шаг — изменение дизайна продукта.
На этапе внесения изменений в существующий дизайн интерфейса можно
обратиться к десяти эвристикам Якоба Нильсена [52], ставших классическими
правилами юзабилити, таблица 2.
Таблица 2 — 10 эвристик дизайна интерфейса Якоба Нильсена
Правило Описание
Осведомленность о Дизайн должен информировать пользователей
статусе системы о происходящем с помощью обратной связи в течение
целесообразного промежутка времени.
Соответствие Дизайн должен говорить языком пользователей
системы реальному и использовать слова, фразы и жаргон, знакомые
миру им. Информация должна появляться в естественном
и логичном порядке.
Свобода и контроль В связи с тем, что пользователи часто совершают
пользователя действия по ошибке, необходим способ отменить
нежелательное действие за короткий период времени.
Согласованность и Пользователи не должны гадать, означают ли одно и то
стандарты же разные слова, фразы или действия — важно
придерживаться общепринятых правил на платформе.
35
Предотвращение Несмотря на то, что сообщения об ошибках играют
ошибок большую роль, дизайн должен в первую очередь
предотвращать необходимость их показа.
Распознавание Пользователь не обязан запоминать информацию
вместо запоминания из разных частей интерфейса при перемещении
по системе — необходимо минимизировать загрузку
памяти пользователя с помощью вынесения важных
объектов, функций, инструкций к продукту в поле
зрения и в быстрый доступ.
Гибкость Горячие клавиши способны ускорить взаимодействие
и эффективность для экспертного пользователя, поэтому дизайн должен
использования быть удобен для пользователя любого уровня.
Эстетичность Интерфейсы не должны содержать неважную или редко
и минимализм необходимую информацию — каждый лишний объект
будет конкурировать с необходимыми блоками
информации и уменьшать видимость последних.
Помощь Сообщения об ошибках должны быть написаны
в распознании, на понятном языке, прямо обозначающем проблему
диагностировании и конструктивно предлагающем решения.
и восстановлении
после ошибок
Справочные В идеальной картине система не нуждается
материалы в объяснении, однако зачастую необходимо
и документация предоставить документы, помогающие разобраться
с тем, как выполнить задачи. Они должны легко
находиться и быть сфокусированными на задачах
пользователя.
36
адаптировать продукт под нужды пользователя, исправить ошибки и улучшить
пользовательский опыт. Кроме того, важно понимать, что пользователи
нуждаются в определённом количестве времени для того, чтобы адаптироваться
к новому дизайну. Именно поэтому переход к этому этапу обычно
осуществляется спустя в среднем три недели. Сроки зависят от того, насколько
часто пользователи обращаются к продукту. Шестой этап — интерпретация
результатов — зависит от самого продукта и выбранных метрик, поэтому
универсальный алгоритм прохождения этапа не может быть сформулирован.
Несмотря на то, что этап расчета рентабельности инвестиций (ROI)
является опциональным, труды зарубежных авторов говорят о необходимости
привлечения внимания к данному показателю в связи с его влиянием
на финансовые результаты организации, реализующей продукт. ROI (Return
On Investment — возврат инвестиций, рентабельность инвестиций
или окупаемость инвестиций) — это финансовая метрика, отражающая
эффективность вложения в определенную деятельность организации,
рассчитывается по формуле (5):
𝑅−𝐼
𝑅𝑂𝐼 = ∗ 100%, (5)
𝐼
где R — доход от вложений;
I — размер вложений.
Данный показатель помогает установить факт прибыльности проекта,
а также оценить степень этой прибыльности. «Показатель прибыльности
инвестиций определяется как отношение годовой прибыли к вложенным
в проект инвестициям» [5, с. 134]. На сегодняшний день расчет ROI не широко
практикуется UX-специалистами, хотя данная сфера исследований имеет
большой потенциал.
С точки зрения бизнеса, проектирование пользовательского опыта
является одним из способов вызвать интерес пользователя к совершению
определенных действий. Компаниям следует вкладываться в UX-оптимизацию
не только из-за конкуренции, но и по причине того, что грамотно
37
спроектированный пользовательский опыт способствует росту дохода: так,
исследование [59] независимой аналитической компании в сфере айти Forrester
оценивает ROI (возврат инвестиций) от вложений в UX-исследования в 9900%
— иными словами, каждый инвестированный доллар в среднем приносит сто
[48].
Институт управления дизайном определил, что дизайн-ориентированные
компании, такие как Apple, Coca-cola, IBM, превзошли индекс S&P, который
показывает среднюю производительность в индустрии, на 288% за 10 лет с 2010
по 2013, рисунок 8.
38
на 80% уменьшает необходимость уточнений команды разработчиков и на 25%
сокращает правки и исправление ошибок после запуска продукта. Кроме того,
юзабилити-тестирования дают возможность сэкономить около 90% затрат
на поддержание работы продукта.
Исследования Я. Нильсена и его команды показали, что юзабилити-
ориентированные проекты улучшают средний показатель KPI на 83% по данным
на 2008 год. Этот показатель меньше, чем в 2002 году, когда он составлял 135%,
но все равно является значительным, рисунок 9. [6, с. 31] Несмотря
на относительную давность проведения данных исследований, они до сих пор
рассматриваются многими современными исследователями и считаются
актуальными на сегодняшний день.
40
продолжительные A/B-тестирования на всех аспектах их пользовательских
интерфейсов и модифицирует их на основании полученных данных [45].
Дж. Спул, основатель User Interface Engineering, посчитал, что одна простая
регулировка пользовательского интерфейса принесла компании около 2,7 млрд.
долларов прибыли [58]. Этим изменением стало внедрение вопроса: «Был ли Вам
полезен этот отзыв?» на страницу с отзывами о товаре.
Еще одним известным кейсом является Staples, известная американская
офисная розничная компания, в основном занимающаяся продажей
канцелярских и сопутствующих товаров. Организация увеличила онлайн-
выручку на 500% после UX-ориентированного редизайна сайта [43]. Airbnb,
популярная во всем мире на сегодняшний день онлайн-площадка для
размещения и поиска жилья, после редизайна реферальной программы повысили
бронирования на 300% в день [44]. Mozilla, мировая компания по производству
ПО, одним из самых популярных продуктов которой является известный браузер
Mozilla Firefox, увеличила показатели эффективности на 233% после редизайна,
уменьшив звонки в центры поддержки на 70% [42].
На примерах международных компаний можно увидеть, что их успех,
наблюдаемый в наши дни, помимо ряда мероприятий обусловлен качественным
редизайном, фокусирующемся на юзабилити и пользовательском опыте
клиентов, и позволяет компаниям достигать все больших высот. Однако
необходимо обратить внимание на то, что большинство исследований
фокусируются на оценке эффективности вебсайтов, так как они находятся
на рынке гораздо дольше. Несмотря на универсальность большинства метрик
для подсчета эффективности продукта, UX-бенчмаркинг мобильных
приложений требует отдельного изучения.
Существуют фундаментальные различия в проведении исследований,
тестировании и оценке эффективности вебсайтов и мобильных приложений.
Например, такой показатель как количество загрузок присущ только
приложениям и является одним из важнейших при подсчете эффективности. При
изучении данного параметра необходимо протестировать все возможные
41
каналы, приводящие к скачиванию приложения, чтобы определить наиболее
эффективные каналы, а среди них — те, которые приносят самых активных
пользователей [49]. Еще одной метрикой, присущей исключительно
приложениям — отзывы в онлайн-магазине приложений. Кроме того,
особенностью мобильных приложений является возможность трекинга локации,
подключения сенсоров, доступ к камере. В отличие от вебсайтов, мобильные
приложения предполагают, что пользователь находится в движении, и дизайн
проектируется в соответствии с данными особенностями. Сравним наиболее
популярные метрики, использующиеся при проектировании пользовательского
опыта и интерфейса, таблица 3.
Таблица 3 — Популярные метрики для измерения эффективности вебсайта
и мобильного приложения
Метрики
Вебсайт ROI, NPS, SUS, количество пользователей, количество
(десктопная просмотров, время выполнения задачи, количество ошибок,
и мобильная длительность сессии, коэффициент отсева, индекс конверсии,
версии) количество продаж
Мобильное ROI, NPS, SUS, CSAT, количество пользователей, количество
приложение скачиваний, количество вернувшихся пользователей,
длительность сессии, время выполнения задачи, количество
ошибок, коэффициент отсева, индекс конверсии, количество
обновлений подписки
42
Результаты и выводы первой главы
Изучена терминология в дисциплине пользовательского опыта, а также
проблемы интерпретации терминов, проанализированы результаты
исследований отечественных и зарубежных авторов, описаны наиболее
популярные на сегодняшний день методы UX-исследований и их существующие
классификации. Проанализированы метрики, помогающие оценить
эффективность UX и представлены фреймворки и классификации этих метрик.
43
2 ПРИМЕНЕНИЕ МЕТОДОВ UX-ИССЛЕДОВАНИЙ
45
рейтинга университетов новой экономики, основанном на исследовании
аналитического центра «Эксперт» [34].
Согласно кодексу этики УрФУ [3], университетское сообщество
утверждает в качестве основополагающих для своего развития ценности
личности, образования и исследования, принципы академической свободы,
профессиональной ответственности, коллегиальности и институциональной
автономии. Социальной миссией университета является подготовка
интеллектуальной группы людей, компетентных, отвечающих высоким
профессиональным и этическим требования специалистов для разных сфер
деятельности, способствующих приумножению региональных, национальных
и общечеловеческих ценностей. Ценности университета включают в себя:
1. Интеллектуальная свобода, профессиональная и коллегиальная
ответственность каждого субъекта университетского сообщества как условие
достижения высоких стандартов образовательной и научно-
исследовательской деятельности университета и возрастания его
институциональной автономии.
2. Педагогическая и научно-исследовательская деятельность в сфере высшего
образования как форма высококвалифицированного служения обществу,
требующая от субъектов университетского сообщества постоянного
совершенствования знаний и специальных навыков, соответствия высоким
профессиональным и моральным критериям, предъявляемым
к образовательной и исследовательской деятельности.
3. Уважение прав человека на свободу мышления и слова, вероисповедания,
частную собственность, безопасность и достойную жизнь.
4. Экологически благоприятная среда как естественная предпосылка
продуктивной деятельности человека. Рачительное отношение к природным
ресурсам.
5. Разнообразие этническое, культурное, социальное как источник жизненной
энергии, коммуникации, взаимопонимания. Сохранение и развитие традиций
российского народа, формирование толерантности.
46
6. Учет в решениях и действиях университетского сообщества интересов
и потребностей всех заинтересованных сторон, стремление соответствовать
ожиданиям заинтересованных сторон.
7. Признание необходимости бережного и эффективного управления
материальными и человеческими ресурсами, строгого соблюдения
экологического и трудового законодательства.
8. Ответственность в исполнении своей социальной миссии: в подготовке
интеллектуальной элиты, компетентных, отвечающих высоким
профессиональным и этическим требованиям специалистов для разных сфер
деятельности.
При этом основная миссия Уральского федерального сформулирована
следующим образом: «повышение конкурентоспособности и обеспечение
реиндустриализации, наращивание человеческого и научно-технического
потенциала, сбалансированное обновление традиционных и развитие
постиндустриальных отраслей экономики России, в первую очередь
на территории Урала» [37]. Согласно официальным данным университета,
стратегической целью создания университета «является формирование
в Уральском федеральном округе научно-образовательного и инновационного
центра, ядром которого станет университет». Для достижения данной цели
важно развивать партнерские отношения с предприятиями округа: система
взаимодействия с партнерами способствует привлечению спонсоров,
организации мероприятий по продвижению бренда университета и участию
в мероприятиях по поддержанию и совершенствованию деятельности
университета в области качества [33].
На сегодняшний день Уральский федеральный университет обладает базой
определенных партнеров, которую необходимо увеличивать для роста
возможностей университета в том числе в области инновационной деятельности.
Учитывая, что цели структурных подразделений по работе с партнерами
напрямую зависят от целей университета и способствуют достижению
47
последних, проблема недостатка конкурентоспособных каналов взаимодействия
с партнерами является актуальной, таблица 4.
Таблица 4 – Первоначальная постановка проблемы университета
Элемент Описание
Проблема недостаток конкурентоспособных каналов
взаимодействия с партнерскими организациями
Воздействует на уровень вовлеченности партнерских организаций
в деятельность университета
Результатом чего стагнация темпов развития взаимодействия
является с партнерскими организациями
48
Рисунок 10 — Модель взаимосвязи миссии, целей и задач университета
49
Рисунок 11 — Факторы, способствующие достижению стратегии
организации
52
Рисунок 14 — Бизнес-процессы и бизнес-функции УрФУ
53
Таблица 5 – Матрица связей бизнес-стратегии и бизнес-процессов УрФУ
Стратегические цели УрФУ
Формирование в УФО Становление УрФУ ядром
Бизнес-процесс научно-образовательного научно-образовательного
и инновационного центра и инновационного центра
международного уровня международного уровня
Информационная
✕
политика
Участие в грантовых
✕ ✕
конкурсах, тендерах
Участие в федеральных
✕ ✕
программах
Проведение мероприятий
✕
для школьников
Предоставление
✕ ✕
образовательных услуг
Обеспечение научно-
исследовательской ✕ ✕
деятельности
Сотрудничество с
компаниями- ✕
работодателями
Выпуск дипломированных
✕
специалистов
Обеспечение
✕ ✕
документооборота
Управление
✕ ✕
инфраструктурой
Управление персоналом ✕
Планово-финансовое
✕ ✕
управление
54
В результате детального моделирования бизнес-процессов и выявления
связей между стратегическими целями организации и бизнес-процессами можно
говорить о реальности выполнения целей.
Основная деятельность Уральского федерального университета
заключается в предоставлении образовательных услуг. Несмотря на то, что
УрФУ является высшим учебным заведением, университет оказывает ряд
прочих услуг, обозначенных на рисунке 15.
55
Два блока первого проректора курируют 21 структурное подразделение,
такие как Учебно-методический центр профилактики терроризма, Управление
персонала, Управление развития студенческого потенциала, Центр спортивной
и оздоровительной работы, Управление информационной безопасности,
Юридическое управление, Центр по развитию партнерства с выпускниками,
6 инновационно-внедренческих центров и так далее. Блок первого проректора по
экономике и стратегическому развитию курирует такие подразделения, как
Управление бухгалтерского учета и финансового контроля, Отдел управления
качеством, Управление стратегического развития и маркетинга, Планово-
финансовое управление и прочие. В блок директора по образовательной
деятельности входят Департамент международных образовательных программ,
Многофункциональный ресурсный центр образовательной деятельности, Центр
взаимодействия с работодателями, Управление образовательных программ
и другие. Под руководством проректора по развитию образовательной
деятельности находятся Центр развития онлайн-обучения, Центр повышения
квалификации преподавателей и профессиональной переподготовки, Центр
новых образовательных технологий и аудиовизуальных средств обучения
и прочие. Зональная научная библиотека, Учебный проектный центр, Совет
молодых ученых, Научно-исследовательская лаборатория по проблемам
университетского развития и другие структурные подразделения курируются
блоком проректора по науке. Проректор по информационной политике курирует
Издательско-полиграфический центр, Медиацентр, Музейно-выставочный
комплекс, Центр позиционирования и бренд-технологий, Центр развития
партнерских отношений и другие подразделения.
56
57
Рисунок 16 — Организационная структура УрФУ
Полная организационная структура университета достаточно громоздкая:
в университете более 85 структурных подразделений, многие из которых в свою
очередь имеют несколько отделов, управлений, участков и прочих
подразделений. На рисунке 16 изображены органы управления, структурные
подразделения университета, а также блоки, курирующие другие структурные
подразделения.
Лица, ответственные за реализацию основных процессов организации,
входят в состав подчиненных ректора университета. Рассмотрим матрицу
распределения ответственности в Уральском федеральном университете,
таблица 6.
Таблица 6 — Матрица распределения ответственности
Должность ответственного за процесс
международным связям
Проректор по развитию
Первый проректор по
Проректор по общим
экономике и стратег.
Краткое описание
образ. деятельности
Проректор по науке
Директор по образ.
Проректор по инф.
Проректор по инф.
Первый проректор
Процесс
процесса
Проректор по
деятельности
технологиям
развитию
вопросам
политике
Развитие персонала,
учет и кадровое
Управление
делопроизводство, ✕
персоналом
информационная и
аналитическая работа
Работа со
студентами, оценка
Предоставление
результатов
качественных
обучения, развитие ✕ ✕ ✕ ✕
образовательных
онлайн-обучения,
услуг
предоставление
ресурсов
Документационное
обеспечение
Обеспечение
управления, ✕ ✕
документооборота
обработка данных,
правовое обеспечение
58
Управление
бухгалтерского учета
и финансового
Финансовая
контроля, налоговый ✕
деятельность
учет, учет
нефинансовых
активов
Взаимодействие с
Деятельность,
работодателями,
направленная на ✕ ✕
развитие партнерских
трудоустройство
отношений
Предоставление
Обеспечение ресурсов,
научно- организация научных
✕ ✕
исследовательской мероприятий,
деятельности инновационная
деятельность
Международные
образовательные
Международная программы, научные
✕ ✕ ✕
деятельность проекты,
партнерство,
адаптация
Операционное
обеспечение,
управление
безопасности, МСЧ,
материально-
Управление
техническое ✕ ✕
инфраструктурой
обеспечение,
управление
эксплуатации
сооружений,
комбинат питания
59
Рисунок 17 — Архитектура бизнес-процессов УрФУ
60
Рисунок 18 — Приложения УрФУ
61
В таблице 7 представлена матрица использования приложений УрФУ,
рассматривающая их для пользования конкретными участниками организации
для выполнения стоящих перед ними задач.
Таблица 7 — Матрица использования приложений УрФУ
Приложения
Microsoft Project
Active Directory
Microsoft Office
ЛК сотрудника
СЭД Directum
использования использования
LMS Moodle
ЛК студента
Гиперметод
Контрагент
СМУДС
РУНП
Внутренняя
коммуникация,
ведение
документооборота,
Сотрудники ✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕
обеспечение
взаимодействия со
студентами, оценка
деятельности
Внутренняя
коммуникация,
изучение
Студенты дисциплин, сдача ✕ ✕ ✕ ✕ ✕ ✕ ✕
зачетных единиц,
получение
обратной связи
62
Рисунок 19 — Связь бизнес-процессов и приложений
Active Directory
Бизнес-процесс
ЛК сотрудника
СЭД Directum
LMS Moodle
ЛК студента
Гиперметод
Контрагент
СМУДС
РУНП
Информационная политика ✕ ✕ ✕ ✕
Участие в грантовых конкурсах,
✕ ✕ ✕
тендерах
Участие в федеральных
✕ ✕ ✕
программах
63
Проведение мероприятий для
✕ ✕
школьников
Предоставление
✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕
образовательных услуг
Обеспечение научно-
исследовательской ✕ ✕ ✕
деятельности
Сотрудничество с компаниями-
✕ ✕ ✕
работодателями
Выпуск дипломированных
✕ ✕ ✕ ✕
специалистов
Обеспечение документооборота ✕ ✕ ✕ ✕ ✕
Управление инфраструктурой ✕ ✕ ✕
Управление персоналом ✕ ✕ ✕ ✕ ✕ ✕ ✕ ✕
Планово-финансовое
✕ ✕ ✕ ✕
управление
65
Рисунок 22 — Схема инфраструктуры ИТ-отдела
66
2.2.5 Полная модель архитектуры организации
Полная модель архитектуры — это совокупность стратегического
и операционного уровней, а также уровня приложений и ИТ-инфраструктуры,
рисунок 24. Она отражает связь бизнес-процессов, приложений
и инфраструктуры, необходимой для реализации первых и, впоследствии,
достижения стратегических целей организации.
67
2.3 Моделирование бизнес-процесса «Оценка эффективности мобильного
приложения»
Для поиска путей улучшения процессов организации применяется
рассмотрение системы с верхнего уровня. Одним из наиболее распространенным
на сегодня инструментом подобного анализа является ARIS Express. Инструмент
позволяет построить карту процессов Process Landscape, которая отражает
описываемые процессы и их подпроцессы виде иерархии — общее
представление о процессе, его особенности, последовательность подпроцессов,
которые в него входят. Рассмотрим подробнее процесс оценки эффективности
мобильного приложения в виде карты процессов, рисунок 25.
69
70
Рисунок 26 — Декомпозиция AS-IS процесса «Оценка эффективности мобильного приложения»
71
Рисунок 27 — Декомпозиция TO-BE процесса «Оценка эффективности мобильного приложения»
Для определения точной последовательности действий по реализации
проекта необходимо определить точную последовательность действий
по достижению поставленной цели с учетом влияющих на этапы реализации
процесса моменты. Для осуществления процесса был обозначен следующий
алгоритм: «Формирование концепции проекта», «Описание логики работы
приложения», «Разработка интерактивного прототипа», «Тестирование»,
«Формирование отчета»; входными данными будут являться «Перечень методик
и метрик», в процессе будет использована «Постановка на реализацию
прототипа», а также будет создан документ «Отчет», рисунок 28.
72
Структурная декомпозиция работ была произведена на основании
методологии внедрения Microsoft Business Solutions Partner Methodology, так как
она отвечает нуждам предприятия — согласно методологии, результатом станет
работающее решение для бизнеса. Использование данной методологии
обеспечивает высокую эффективность проекта и достижение целей благодаря
контролю хода проекта на всех этапах и соответствующем снижении проектных
рисков.
Сетевая модель проекта предназначена для планирования и управления
сложными совокупностями работ и представляет собой модель, которая
отражает всю систему работ и событий по реализацией проекта в логической
и технологической последовательности, рисунок 29.
73
В диаграмме Ганта представлена полная длина проекта, отдельные работы
с их длительностью, а также критические и некритические работы проекта,
которые окрашены красным и синим цветом соответственно. Рисунок 30.
75
организации студентов УрФУ, так как POS Family Card является своего рода
программой лояльности. На рисунке 33 представлена схема взаимодействия
стейкхолдеров приложения.
76
Рисунок 34 — Экран авторизации
77
оставленный контакт должен прийти уникальный код, который будет являться
подтверждением. Полученный код необходимо ввести в новом окне и нажать
кнопку «Продолжить».
78
Далее пользователь попадает на главный экран, рисунок 36. В зависимости
выбранной ранее категории приложение предлагает оформить подписку: если
юзер подтвердил факт того, что он является студентом Уральского федерального
университета, то он сможет выбрать категорию подписки «Для студентов
УрФУ»; если ранее пользователь выбирал характеристику «Я не студент УрФУ»,
то для него будет недоступен выбор подписки «Для студентов УрФУ»,
единственный доступный вариант в таком случае — «Другие категории».
Каждый пользователь должен поставить галочку о согласии с пользовательским
соглашении и политикой конфиденциальности сервиса, после чего он сможет
оформить подписку.
79
После оформления подписки в разделе «Кошелек» для пользователя станет
доступна кнопка «Воспользоваться» — именно на нее юзер должен будет нажать
при желании воспользоваться скидочной картой и получить скидку при
использовании услуг компаний-партнеров. После нажатия кнопки
на пользовательском экране появляется карта и QR-код, который необходимо
предъявить компании-партнеру перед совершением покупки. После считывания
QR-кода, пользователь получает установленную скидку на полную стоимость
оказанной услуги или товара, рисунок 37.
80
компаний-партнеров, фильтровать и добавлять компании-партнеры
в «Избранное».
81
Family Card индикаторами явились скидки, акции, системы лояльности.
Проведения данного метода UX-исследования проходило в пять шагов:
1. Планирование и подготовка. На данном этапе был определен срок
проведения в две недели с 5 по 19 марта 2021; каналами передачи
информации от респондентов были выбраны социальные сети; была собрана
группа из 34 участников исследования от 17 до 28 лет в соответствии с
типами пользователей в соотношении 1:1. Также были подготовлены
инструкции для участников в текстовом виде.
2. Бриф участников исследования. На личных и онлайн-встречах с участниками
обсудили детали, утвердили даты передачи информации и закрыли
существующие вопросы по исследованию.
3. Сбор информации от участников.
4. Сбор обратной связи. По окончанию исследования были проведены
интервью с участниками для уточнения деталей.
5. Анализ полученных данных. Результаты анализа представлены в таблице 9.
Таблица 9 — Анализ данных «дневников»
Локация Обстоятельства Эмоции Кол-во Кол-во не
студентов студентов
УрФУ УрФУ
Продуктовый Плановые Положительные 15 13
магазин покупки
Дом Скука, просмотр Нейтральные 12 13
телепередач
с семьей,
усталость,
уборка
Кафе / При виде Нейтральные 9 8
ресторан брошюр
с информацией
82
о программах
лояльности
Улица При виде Ближе 4 2
наружной к отрицательным
рекламы
Работа / Во время Положительные 7 11
университет обеденных
перерывов
83
выполнения задания участники делились вслух своими мыслями, и все важные
детали действий фиксировались модератором. В процессе исследования была
выделена проблема авторизации, которая заключалась невозможности сбросить
пароль при авторизации через личный кабинет студента УрФУ. На основании
исследования были выдвинуты рекомендации по модификации авторизации
добавлению функции восстановления пароля при авторизации через личный
кабинет студента.
Помимо проведения UX-исследований были посчитаны показатели SUS
— метрики, позволяющей оценить, насколько продукт удобный для
пользователя. Для вычисления показателя необходимо провести опрос среди
группы участников исследования: после их изучения прототипа продукта
участникам предлагается оценить 10 стандартных утверждений по шкале от 1 до
5, где 1 — совершенно не согласен и 5 — полностью согласен [38]. Утверждения
выглядели следующим образом:
1. Я буду часто использовать эту систему.
2. Система слишком сложная.
3. Системой легко пользоваться.
4. Мне понадобится помощь, чтобы научиться пользоваться этой системой.
5. Разные функции в этой системе правильно сгруппированы.
6. В системе слишком много несоответствий.
7. Большая часть людей очень быстро научится пользоваться этой системой.
8. Эту систему очень трудно использовать.
9. Я уверенно себя чувствовал(а), используя эту систему.
10.Мне пришлось многому научиться, прежде чем я смог(ла) работать
с системой.
В опросе участвовало 34 респондента, для каждого из которых был
посчитан SUS. Результаты расчетов представлены на рисунке 39.
84
Рисунок 39 — Таблица вычислений SUS для POS Family Card
85
провести исследование по методу сортировки карточек, привлекая пользователя
к проектированию более удобного интерфейса.
Результаты и выводы второй главы
В ходе работы была изучена деятельность Уральского федерального
университета, построены бизнес-стратегия, бизнес-архитектура, архитектура
приложений, а также ИТ-инфраструктура, которые в комплексе составили
полную модель архитектуры учреждения. Был построен Process Landscape
процесса «Оценка эффективности мобильного приложения», рассмотрен
процесс AS-IS и построен процесс TO-BE, также был разработан проект
по методологии MBS Partner Methodology. Был исследован проект приложения
Уральского федерального университета POS Family Card, проведены UX-
исследования в рамках проекта и осуществлен подсчет эффективности
по метрике System Usability Scale. Сформулированы рекомендации на основании
исследований и вычислений.
86
3 РАЗРАБОТКА ПРОЕКТА МОБИЛЬНОГО ПРИЛОЖЕНИЯ ДЛЯ
ОЦЕНКИ ЭФФЕКТИВНОСТИ UX-ДИЗАЙНА МОБИЛЬНЫХ
ПРИЛОЖЕНИЙ
87
эффективности мобильного приложения. Продукт нацелен на пользователей,
которые хотят улучшить качество пользовательского опыта своих собственных
приложений, тем самым повысить показатели эффективности организации.
Опираясь на данные, полученные в результате обработки теоретических основ,
был сделан вывод о необходимости систематизации данных о пользовательском
опыте в российском сегменте с целью повышения всеобщей осведомленности
и обеспечению конкурентоспособности продуктов на рынке, а также
о потребности в автоматизации процесса вычисления необходимых метрик.
Приложение будет представлять собой систему, позволяющую создать
аккаунт для хранения данных о своих приложениях, отслеживания динамики
изменений различных показателей и получения рекомендаций для улучшения
эффективности мобильного приложения. Для наглядности подробно рассмотрим
первичный алгоритм работы приложения на рисунке 41.
88
Как можно увидеть на схеме, статистика зависит от показателей,
отображаемых в профиле, показатели зависят от метрик, а метрики — от методов
исследования. На основании такого взаимодействия элементов проводится
оценка и выдача рекомендаций. Рассмотрим подробнее алгоритм проведения
расчетов на рисунке 42.
90
При первом запуске приложения открывается экран авторизации:
незарегистрированным пользователям предлагается пройти регистрацию,
а зарегистрированным — войти в свой аккаунт, после чего пользователь
попадает в свой профиль и имеет возможность добавить приложение,
эффективность которого собирается отслеживать, рисунок 44.
91
Рисунок 45 — Экраны показателей и их описаний
92
Рисунок 46 — Введение данных, расчет показателя и отображение статистики
93
Рисунок 47 — Экраны с негативной оценкой приложения и рекомендации
по улучшению показателей
94
Рисунок 48 — Экран одного метода и каталога с методами
95
Рисунок 49 — Разделы «Новости» и «Метрики» приложения
96
Таблица 10 — Стоимость часа работы задействованных специалистов
Зарплат Зарплата Затраты Затрат
а "на НДФЛ, "на Страховы на ы на
Должность
руки", руб./мес руки" + е взносы, оплату оплату
специалиста
руб./мес . НДФЛ, руб./мес. труда, труда,
. руб./мес. руб./мес. руб./ч
48 63
Руководитель проекта 42 100 6 290,80 14 614,02 375
390,80 004,83
52 68
Аналитик 46 050 6 881,03 15 985,17 410
931,03 916,21
54 71
UX/UI-дизайнер 47 730 7 132,07 16 568,34 425
862,07 430,41
97
UX/UI-дизайнер 160 425 68 000
Руководитель проекта 56 375 21 000
Разработка и тестирование 256 - 105 920
Аналитик 192 410 78 720
UX/UI-дизайнер 64 425 27 200
Развёртывание 352 - 145 880
Аналитик 168 410 68 880
UX/UI-дизайнер 160 425 68 000
Руководитель проекта 24 375 9 000
Начальное сопровождение 224 - 57 440
Аналитик 64 410 26 240
UX/UI-дизайнер 24 425 10 200
Руководитель проекта 56 375 21 000
ИТОГО: 644 080
98
После расчета периодических трат на оплату труда вычисляется стоимость
материальных и нематериальных вложений.
Однако стоит заметить, что на этапе внедрения решения
рассматриваемому предприятию не придется реализовывать данные виды
вложений в силу того, что существующая материально-техническая база
позволяет этого избежать. Все используемые в проекте инструменты в том числе
являются инструменты, которые способствуют осуществлению основной
деятельности.
Далее производится выявление статей накладных расходов и их
содержания на этапе реализации — на выделяют эксплуатацию офисных
помещений, управленческие расходы и канцелярию, которые составляют 25%
от суммы затрат и равняются 161 020 рублей, таблица 13.
Таблица 13 — Статьи накладных расходов и их оценка на этапе реализации
проекта
Содержание статей накладных
№ Статьи накладных расходов
расходов
Около 25 м2 на 3 рабочих места с
учётом общих помещений, затрат
1 Эксплуатация офисных помещений на электроэнергию и
водоснабжение, отопление,
ежедневная уборка
Руководство компании и
2 Управленческие расходы
бухгалтерия
3 Канцелярия Бумага, ручки, карандаши
[% от трудозатрат в денежных
Метод расчёта накладных расходов
единицах]
Сумма трудозатрат в денежных единицах
[A] 644 080
(руб.)
Принятая доля (%) накладных расходов от
[B] 25%
[A]
Оценка накладных расходов в денежных
[C] 161 020
единицах (руб.)
99
Таблица 14 — Статьи накладных расходов и их оценка на этапе эксплуатации
проекта
Содержание статей накладных
№ Статьи накладных расходов
расходов
Около 25 м2 на 3 рабочих места с
учётом общих помещений, затрат
1 Эксплуатация офисных помещений на электроэнергию и
водоснабжение, отопление,
ежедневная уборка
Руководство компании и
2 Управленческие расходы
бухгалтерия
3 Канцелярия Бумага, ручки, карандаши
[% от трудозатрат в денежных
Метод расчёта накладных расходов
единицах]
Сумма трудозатрат в денежных единицах
[A] 5 790
(руб.)
Принятая доля (%) накладных расходов от
[B] 25%
[A]
Оценка накладных расходов в денежных
[C] 1 448
единицах (руб.)
100
Рисунок 50 — Затраты проекта без учета накладных расходов
101
Рисунок 51 — Затраты проекта с учетом накладных расходов
102
Последующий расчет финансовых показателей оценки эффективности
производится на основании данных о инвестиционных и текущих вложениях
и величинах оттока и притока денежных средств. В статьях оттока и притока
рассматриваются расходы на оплату труда, а также материальны
и нематериальны вложения и накладные расходы.
Разницей между величинами притока и оттока денежных средств является
величина чистого денежного потока. Чистый дисконтированный денежный
поток по периодам представляет из себя значение коэффициента
дисконтирования, помноженное на значение чистого денежного потока,
и рассчитывается на основании ставки дисконтирования и расчетного периода,
таблица 15.
Таблица 15 — Значение ставки и коэффициента дисконтирования
Ставка дисконтирования Rгод, % годовых 9,60%
Расчетный период 1 мес.
Ставка дисконтирования Rмес, % в месяц
0,7668%
[Rмес = (1+Rгод)^1/12 - 1]
Коэффициент дисконтирования 1/(1+Rмес)^12 0,9124
103
Investments 1-й мес. 2-й мес. 3-й мес. 4-й мес. 5-й мес. 6-й мес. 7-й мес. 8-й мес. 9-й мес. 10-й мес. 11-й мес. 12-й мес.
1. Инвестиционные и текущие вложения 805 100 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238
Расходы на оплату труда [таб.2] & [таб.3] 644 080 5 790 5 790 5 790 5 790 5 790 5 790 5 790 5 790 5 790 5 790 5 790 5 790
Материальные вложения [таб.4 разд. I] & [таб.5 разд. I] 0 0 0 0 0 0 0 0 0 0 0 0 0
Нематериальные вложения [таб.4 разд. II] & [таб.5 разд. II] 0 0 0 0 0 0 0 0 0 0 0 0 0
Накладные расходы [таб.6] & [таб.7] 161 020 1 448 1 448 1 448 1 448 1 448 1 448 1 448 1 448 1 448 1 448 1 448 1 448
2. Отток ДС 805 100 327 238 367 238 407 238 447 238 487 238 527 238 567 238 607 238 689 190 719 790 761 790 803 790
Себестоимость производства продукта/выполнения заказа [из поясн.
0 320 000 360 000 400 000 440 000 480 000 520 000 560 000 600 000 640 000 680 000 720 000 760 000
эконом. раздела]
104
Инвестиционные и текущие вложения [таб.8 разд.1] 805 100 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238 7 238
Налоги (все учтено без НДС, налог на прибыль 20%) [расчет] 0 0 0 0 0 0 0 0 0 41 953 32 553 34 553 36 553
3. Приток ДС 0 400 000 450 000 500 000 550 000 600 000 650 000 700 000 750 000 800 000 850 000 900 000 950 000
Выручка от внедрения системы в денежном выражении 0 400 000 450 000 500 000 550 000 600 000 650 000 700 000 750 000 800 000 850 000 900 000 950 000
4. Чистый денежный поток по периодам (NCFi) -805 100 72 763 82 763 92 763 102 763 112 763 122 763 132 763 142 763 110 810 130 210 138 210 146 210
5. Чистый дисконтированный денежный поток по периодам
(NCFi * к-т дисконтирования) -805 100 66 389 75 513 84 637 93 761 102 885 112 010 121 134 130 258 101 104 118 805 126 104 133 403
6. Чистый приведенный доход NPV в динамике -805 100 -738 711 -663 198 -578 560 -484 799 -381 913 -269 904 -148 770 -18 512 82 592 201 396 327 500 460 904
106
ЗАКЛЮЧЕНИЕ
107
и как следствие финансовые результаты деятельности организации, а также
многие другие показатели.
Актуальность темы обусловлена необходимостью развития использования
лучших практик UX-дизайна продуктов с целью привлечения дополнительных
ресурсов и повышения конкурентоспособности организации.
Объектом исследования являлась информационная система Уральского
федерального университета POS Family Card. Предметом исследования являлся
процесс разработки концепции внедрения UX-исследований и оценки
эффективности мобильного приложения.
В диссертации была представлена концепция проектирования
пользовательского опыта и описаны явления, которые относятся к данной
деятельности. Также представлен обзор методов UX-исследований
и показателей, которые высчитываются для оценки эффективности ИТ-
продуктов, разработанных в качестве инструмента получения или увеличения
прибыли организации. Во второй главе подробно рассмотрена деятельность
организации: построена полная модель архитектуры Уральского федерального
университета, рассмотрен процесс оценки эффективности мобильного
приложения, проанализирован продукт предприятия: применены методы UX-
исследования и оценки эффективности, а также выдвинуты рекомендации на
основании полученных результатов. В третьей главе разработана концепция
продукта, который позволяет оценить эффективность UX-дизайна мобильного
приложения, спроектирован его прототип. В завершении главы рассчитана
экономическая эффективность проекта, которая показала, что он окупится
спустя 9 месяцев и, следовательно, является эффективным.
Подводя итоги выпускной квалификационной работы можно сделать
вывод о том, что благодаря достижению поставленной цели эффективность
предприятия может увеличиться с учетом внедрения разработанного продукта.
108
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
110
24. Scenario Mapping: Design Ideation Using Personas By Kim Salazar on March 28,
2021, John Pruitt, Tamara Adlin. 2006. The Persona Lifecycle: Keeping People in
Mind Throughout Product Design. Morgan Kaufmann.
25. Turumugon P., Baharum A., Hanapi R., Kamarudin N., Rahim E. A., Omar M.,
Users’ Mental Model Pattern for User Interface Design of Mobile Shopping Apps.
Advanced Science Letters, Volume 24, Number 2, February 2018, pp. 1158-1162.
— 2018.
26. Waardhuizen, Michael & McLean-Oliver, Jennifer & Perry, Nancy & Munko, Joe.
(2019). Explorations on Single Usability Metrics. CHI EA '19: Extended Abstracts
of the 2019 CHI Conference on Human Factors in Computing Systems. 1-8.
27. Wonchan C., Bengisu T., Effective Use of User Interface and User Experience in
an mHealth Application, User Experience (UX) In Information Systems (IS) for
Health and Wellness Minitrack. — 2017.
28. 21 метод UX-исследований: какой выбрать [Электронный ресурс]. URL:
https://habr.com/ru/post/511652/ (Дата обращения: 17.05.2021).
29. Г.С. Асатрян. Интерактивный дизайн как инструмент коммуникации с
пользователем [Электронный ресурс] // Актуальные проблемы авиации и
космонавтики. 2016. №12. URL: https://cyberleninka.ru/article/n/interaktivnyy-
dizayn-kak-instrument-kommunikatsii-s-polzovatelem (Дата обращения:
03.06.2021).
30. Дизайн взаимодействия с пользователем – Анализ – Google Trends
[Электронный ресурс]. URL:
https://trends.google.com/trends/explore?date=all&geo=US&q=%2Fg%2F120_g
8jl (Дата обращения: 01.05.2021).
31. Е. Н. Косова. Гуманистические ценности и этическая направленность
дизайна в культуре модернизма. Феномен инклюзивного дизайна
[Электронный ресурс] // Сборник трудов международной научно-
практической конференции «Инновации и дизайн». 2020. №1. URL:
https://cyberleninka.ru/article/n/gumanisticheskie-tsennosti-i-eticheskaya-
111
napravlennost-dizayna-v-kulture-modernizma-fenomen-inklyuzivnogo-dizayna
(Дата обращения: 03.06.2021).
32. Патнюк И.В., Универсальный дизайн — инновационная стратегия
безопасности и сохранения окружающей среды [Электронный ресурс] //
Актуальные проблемы дизайна и дизайн-образования: материалы III
Междунар. науч.-практ. конф., Минск. 2019. URL:
https://elib.bsu.by/handle/123456789/239136 (Дата обращения: 03.06.2021).
33. Положение о Центре развития партнерских отношений [Электронный
ресурс]. URL:
https://urfu.ru/fileadmin/user_upload/urfu.ru/rektorat/units_rektorat/ppip/Pologen
ie_CRPO.pdf (Дата обращения: 29.04.2021).
34. Российская газета [Электронный ресурс]. URL: https://rg.ru/2020/12/21/mgu-
vshe-i-spbgu-v-liderah-rejtinga-rabotodatelej.html (Дата обращения:
29.04.2021).
35. Руководство по обеспечению доступности Web-контента. [Электронный
ресурс]. URL: https://www.w3.org/Translations/WCAG20-ru/ (Дата обращения:
29.04.2021).
36. Спиллерс Ф., 3 UX техники, которые улучшат покупательский опыт и ROI
компании [Видео] URL: https://www.interaction-
design.org/literature/article/improve-customer-experience-with-ux-investments-
that-increase-roi (Дата обращения: 29.04.2021).
37. Уральский федеральный университет [Электронный ресурс]. URL:
https://www.urfu.ru/ (Дата обращения: 29.04.2021).
38. Юзабилити-тестирования на реальных пользователях: сайт. URL:
https://uxcrowd.ru/ (Дата обращения: 10.04.2021).
39. UX-дизайн [Электронный ресурс] : видеоматериалы — 2020 – URL:
https://bangbangeducation.ru/course/ux-dizayn (Дата обращения: 17.03.2021)—
Режим доступа: по подписке.
40. UX-методы [Электронный ресурс]. URL: https://ux-
everything.com/benchmarking/ (Дата обращения: 13.05.2021).
112
41. 7 Steps to Benchmark Your Product’s UX [Электронный ресурс]. URL:
https://www.nngroup.com/articles/product-ux-benchmarks/ (Дата обращения:
29.04.2021).
42. Farrell S., How Iterative Testing Decreases Support Calls by 70% on Mozilla’s
Support Website. [Электронный ресурс]. URL:
https://www.nngroup.com/articles/testing-decreased-support/ (Дата обращения:
25.03.21)
43. HFI Staple Case Study [Электронный ресурс]. URL:
https://www.humanfactors.com/case-studies-staples.aspx (Дата обращения:
20.04.21).
44. How Airbnb Built One Of The Most Successful Referral Programs Ever
[Электронный ресурс]. URL: https://www.cloudsponge.com/blog/airbnb-
referral-program/ (Дата обращения: 20.04.21).
45. Improve Customer Experience with UX Investments that Increase ROI
[Электронный ресурс]. URL: https://www.interaction-
design.org/literature/article/improve-customer-experience-with-ux-investments-
that-increase-roi/ (Дата обращения: 29.04.2021).
46. Interaction Design Foundation. [Электронный ресурс]. URL:
https://www.interaction-design.org/ (Дата обращения: 11.04.2021).
47. Ivaniuk A., Duan W.. A/B testing at LinkedIn: Assigning variants at scale
[Электронный ресурс]. URL: https://engineering.linkedin.com/blog/2020/a-b-
testing-variant-assignment (Дата обращения: 11.04.2021).
48. Kucheriavy A.. How UX Is Transforming Business (Whether You Want It Or Not)
[Электронный ресурс]. URL:
https://www.forbes.com/sites/forbestechcouncil/2017/01/23/how-ux-is-
transforming-business-whether-you-want-it-to-or-not/ (Дата обращения:
11.04.2021).
49. Measuring the Success of a Mobile App [Электронный ресурс]. URL:
https://www.buzinga.com.au/buzz/measuring-the-success-of-a-mobile-app/ (Дата
обращения: 25.03.21)
113
50. Medium — Where Good Ideas Find You [Электронный ресурс]. URL:
medium.com (Дата обращения: 11.04.2021).
51. Nielsen J., Usability ROI Declining, But Still Strong [Электронный ресурс] URL:
https://www.nngroup.com/articles/usability-roi-declining-but-still-strong/ (Дата
обращения: 20.04.21).
52. Nielsen J.. 10 Usability Heuristics for User Interface Design [Электронный
ресурс]. URL: https://www.nngroup.com/articles/ten-usability-heuristics/ (Дата
обращения: 03.06.2021).
53. Prescription fpr curring costs. [Электронный ресурс].
https://media.bain.com/Images/BB_Prescription_cutting_costs.pdf?_ga=2.216965
781.2004389896.1557146893-933118289.1529345498 (Дата обращения:
29.04.2021).
54. Product Frameworks. [Электронный ресурс]. — URL: https://www.product-
frameworks.com/ (Дата обращения: 07.04.2021).
55. Ratcliff C,. A comprehensive guide to UX Benchmarking: Lonitudinal and
Competitive [Электронный ресурс]. URL: https://www.userzoom.com/ux-
library/a-comprehensive-guide-to-ux-benchmarking/ (Дата обращения:
17.03.2021).
56. Ries, E. Minimum Viable Product: a guide. [Электронный ресурс]. URL:
http://www.startuplessonslearned.com/2009/08/minimum-viable-product-
guide.html (Дата обращения: 11.04.2021).
57. Salazar K. Diary Studies: Understanding Ling-Term User Behavior and
Experiences [Электронный ресурс]. URL:
https://www.nngroup.com/articles/diary-studies/ (Дата обращения: 03.03.2021).
58. Spool J.M., The Magic Behind Amazon’s 2.7 Billion Dollar Question, 2009
[Электронный ресурс]. URL: https://articles.uie.com/magicbehindamazon/ (Дата
обращения: 20.04.21).
59. The Six Steps For Justifying Better UX [Электронный ресурс]. URL:
https://www.forrester.com/report/The+Six+Steps+For+Justifying+Better+UX/-
114
/E-RES117708# (Дата обращения: 29.04.2021). — Режим доступа: для
зарегистр. пользователей.
60. Usabilla, The Complete Guide To User Experience Metrics [Электронный
ресурс].https://lp.usabilla.com/hubfs/Usabilla%20Global%20File%20Folder/Usa
billa%20Content%20Files/Usabilla%20Ebooks/ENG/complete-guide-user-
experience-metrics-EN.pdf (Дата обращения: 29.04.2021).
115