Открыть Электронные книги
Категории
Открыть Аудиокниги
Категории
Открыть Журналы
Категории
Открыть Документы
Категории
ОГЛАВЛЕНИЕ
1. Качество тестирования................................................................................................................................................................................................................... 2
1.1 Пропуски дефектов .................................................................................................................................................................................................................. 2
1.2 Тестовое покрытие – 1/2 .......................................................................................................................................................................................................... 3
1.2 Тестовое покрытие – 2/2 .......................................................................................................................................................................................................... 4
1.3 Качество тест-дизайна .............................................................................................................................................................................................................. 5
2. Проектное планирование .............................................................................................................................................................................................................. 6
2.1 Следование плану работ .......................................................................................................................................................................................................... 6
2.2 Учёт проектных рисков ............................................................................................................................................................................................................. 7
2.3 Метрики для прогнозирования трудозатрат по тестированию ............................................................................................................................................... 8
3. Качество продукта.......................................................................................................................................................................................................................... 9
3.1 Удовлетворение пользователей .............................................................................................................................................................................................. 9
3.2 Дефекты в продукте ............................................................................................................................................................................................................... 10
3.3 Результаты тестирования ....................................................................................................................................................................................................... 11
3.4 Характеристики качества ПО – 1/4 ......................................................................................................................................................................................... 12
3.4 Характеристики качества ПО – 2/4 ......................................................................................................................................................................................... 13
3.4 Характеристики качества ПО – 3/4 ......................................................................................................................................................................................... 14
3.4 Характеристики качества ПО – 4/4 ......................................................................................................................................................................................... 15
4. Эффективность тестирования ...................................................................................................................................................................................................... 16
4.1 Скорость тестирования ........................................................................................................................................................................................................... 16
4.2 Финансовые показатели......................................................................................................................................................................................................... 17
4.3 Работа с дефектами ................................................................................................................................................................................................................ 18
4.4 Автотесты................................................................................................................................................................................................................................ 19
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
1. Качество тестирования
1.1 Пропуски дефектов
# Метрика рус. Метрика англ. Как рассчитывать Визуализация метрики Как использовать
ПРОПУЩЕНО ДЕФЕКТОВ
25%
Для анализа, в каких областях
20% Функциональных необходимо развивать тестирование
дефектов
Дефектов
Пропуски дефектов по Дефектов с пром среды по категории 15% • В качестве категорий могут
4 категориям
Bugs Leakage by Category
Всего дефектов по категории
× 100% производительности
выступать уровни тестирования,
Дефектов
10% безопасности типы тестирования, зоны
Дефектов юзабилити функциональности и т.д.
5%
0%
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
Покрытие требований
ET Requirements
ПРОВЕДЕНО ТЕСТИРОВАНИЕ ТРЕБОВАНИЙ/ПС
7 исследовательскими
Coverage
тестами
Постановка задач на исследовательское Приоритет 1 • Для оценки
тестирование по требованиям или готовности к релизу
Приоритет 2 • Для планирования
пользовательским сценариям и расчёт %
затрат на
Покрытие требований, по которым было проведено
User Stories Test Приоритет 3 тестирование
8 пользовательских тестирование.
Coverage
сценариев тестами 0% 20% 40% 60% 80% 100%
Покрытие
ТРЕБОВАНИЯ ПОКРЫТЫ ТЕСТАМИ
16 требований Performance Coverage Требований по группе покрыто тестами
производительности × 100%
Всего требований в группе Поддерживаемые типы данных 50 11 40 • Для планирования
расширения тестового
Покрытие Где в качестве группы могут выступать: покрытия
17 требований нагрузки Load Coverage Требования безопасности 2.5 7 2
• Разные типы требования • Для оценки рисков
• Разные модули Требования производительности 67 25 15 пропуска дефектов
Покрытие • Разные функциональные области
0% 20% 40% 60% 80% 100%
18 поддерживаемых Data Coverage • И т.д.
форматов данных Есть хотя бы один тест Тесты отсутствуют Есть утверждённые тесты
ПРОВЕДЕНО ЮЗАБИЛИТИ-ТЕСТИРОВАНИЕ
100
• Проведение юзабилити-экспертизы с
Покрытие привлечением ЦА с анализом возможности
80 • Оценить юзабилити-риски
60 • Принять решение, какие
пользовательских Use-Cases Covered by выполнения сценариев
19 тесты необходимо
сценариев Usability Tests • Проведение внутренней UX-экспертизы по 40
провести
юзабилити-тестами удобству выполнения пользовательских 20
сценариев 0
Приоритет 1 Приоритет 2 Приоритет 3
Проведено тестирование на ЦА Проведена UX-экспертиза Тестирование не проводилось
AVG (Последняя версия документации - Модуль % актуальных Среднее отклонение версии от • Оценить риски
Последняя версия документации, использования текущих
тестов последней
использованная в тестах) тестов
23 Актуальность тестов Test cases relevance
или
Модуль 1 100% 0
• Определить необходимость
Тестов, акт. в последней версии Модуль 2 46% 2,6 выделения ресурсов на
× 100% Модуль 3 89% 0,33 актуализацию тестов
Общее число тестов
ВЫПОЛНЕНО ТЕСТОВ ДЛЯ ЗАВЕДЕНИЯ 1
Выполнено тестов
ДЕФЕКТА
Зарегистрировано дефектов
25
Считается по версии, итерации или периоду • Выявить тесты,
20
времени подверженные эффекту
Рейтинг
15 пестицида (см. Продукт 1)
24 обнаружения TC bugs detecting ratio
• Оценить эффективность
дефектов тестами Возможна категоризация статистики по: 10
внедрения новых техник и
• По сотрудникам (тест-дизайнерам) 5 подходов (см. Продукт 2)
• По зонам функциональности
0
• По типам тестов Версия 1 Версия 2 Версия 3 Версия 4 Версия 5
• И т.д.
Продукт 1 Продукт 2
2. Проектное планирование
2.1 Следование плану работ
# Метрика рус. Метрика англ. Как рассчитывать Визуализация метрики Как использовать
Дата финиша факт – Дата финиша план
СРЫВЫ СРОКОВ ПО ЗАДАЧАМ В ДНЯХ • Для выявления
Метрика может собираться по: 7 среднего срыва
• Задачам 6 сроков и включения
Срывы сроков по • Итерациям 5
его в планы работ
27 задачам
Schedule slippage
• Релизам • Для анализа причин
4 сроков по каждой
И категоризироваться по:
3 6 задаче или по самым
• Сотрудникам
4.5 большим сдвигам
• Типам задач 2
3.5 4
• Для включения в
• И т.д. 1 2.3
1 планирование
При оценке групп задач, итераций и проектов 0 рисков исходя из
Задача 1 Задача 2 Задача 3 Задача 4 Задача 5 Задача 6 -1 7
Задача Среднее
Отклонение от плана Schedule оценивается в процентах: -1 -2 статистики срывов в
28 работ Variance -2
процентах
Дата фишина факт − Дата финиша план
× 100% -3
Дата финиша план − Дата старта план
ПРЕВЫШЕНИЯ ТРУДОЗАТРАТ
Фактические трудозатраты • Для анализа причин
× 100% − 100% 60% отклонения в
Плановые трудозатраты
50% оценках
40% • Как возможный KPI
Данные можно категорировать по: 30% при необходимости
Превышение Estimation
29 трудозатрат Changes • Задачам 20%
снижения
трудозатрат
• Итерациям 10% • Для поиска
• Командам 0% превышения
• Сотрудникам -10%
Задача 1 Задача 2 Задача 3 Задача 4 трудозатрат по
• И т.д. -20% категориям
РИСКИ ПО ИТЕРАЦИЯМ
• Выявление
Итерация 1 избыточного
Возникшие риски по прогнозу
× 100% прогнозирования
Все риски Итерация 2
Корректность рисков (см. Итерация
Risk predicting Где «Все риски» это сумма:
34 прогнозирования 3)
correctness • Спрогнозированных возникших Итерация 3
• Выявление
рисков
• Спрогнозированных не возникших недостаточного
• Возникших не спрогнозированных Итерация 4
прогнозирования (см.
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Итерация 2)
• Оценить, насколько
Проект Проект 1 Проект 2 Проект 3 Проект 4 корректные решения
Успешно нивелированы Рисков выявлено 42 35 28 70 мы выбираем для
× 100% Рисков со стратегией решения 42 16 26 56
Уровень Все риски в стратегии нивелирования
Risk avoidance Рисков, нивелированных по 14 3 20 18
35 нивелирования
efficacy стратегии
рисков
рисков Рассчитывается на основании стратегии Рисков, стратегия нивелирования по 6 11 3 7 • Найти более
нивелирования которым не помогли эффективные
Уровень нивелирования 70% 21% 87% 72% инструменты
нивелирования
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
Затраты на 1 Tet Effort per 1 Затраты на тестирование совместимости Число инцидентов 17 32 21 8 19.5
39 тестовое окружение Environment Затраты на 1 инцидент 0.35 0.47 0.38 0.38 0.395
Протестировано окружений
Затраты на разработку тестов 32 28 43 23 31.5
Время, Затраты на создание тестов
Test Effort for 1 Число тестов 140 125 281 116 165.5
40 затрачиваемое на
TC creation Число созданных тестов
создание ТК/ЧЛ Затраты на 1 тест 0.23 0.22 0.16 0.2 0.2
Затраты на валидацию дефектов 11 9.5 17 8 11.375
Затраты на проверку Test Effort for 1 Затраты на проверку инцидентов за период
41 1 инцидента incident submit Число дефектов
Число инцидентов обработано 46 39 64 36 46.25
провалидировано
Затраты на Затраты на валидацию 1 дефекта 0.24 0.24 0.27 0.22 0.24
Test Effort for 1 Затраты на валидацию дефектов
42 валидацию 1
bug validation Число дефектов провалидировано
дефекта
Как использовать:
• Метрики грубой оценки (36,37,38) используются для быстрого получения планируемых трудозатрат исходя из предварительно собранной
статистики. Если на тестирование поступает доработка, содержащая 150 требований, мы можем быстро оценить затраты на её тестирование как
150х1.36 = 204 ч/ч.
• Метрики точной оценки используются при планировании трудозатрат по стратегии тестирования. В стратегии мы указываем, что нам необходимо
создать около 120 тестов, провести тестирование на 4 тестовых окружениях, провалидировать 40 дефектов, и т.д. В оценке мы суммируем затраты
на каждый из этих пунктов, затраты берём исходя из предварительно собранной статистики.
• Анализируя затраты на повторяющиеся активности, мы можем выявить, что некоторые типы задач мы выполняем слишком долго. В этом случае мы
проводим улучшения и оптимизацию процесса, направленные на сокращение затрат, и выносим такие показатели в KPI (например, цель – тратить
на валидацию 1 дефекта не более 10 минут, стратегия – автоматизация создания тестовых данных и окружений, KPI – метрика #42)
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
3. Качество продукта
3.1 Удовлетворение пользователей
# Метрика рус. Метрика англ. Как рассчитывать Визуализация метрики Как использовать
ОЦЕНКИ ПОЛЬЗОВАТЕЛЕЙ
5
AVG (Пользовательские оценки за период) • KPI проекта
4
Можно собирать в: • Выявление источников
• Прямых опросах 3 низких оценок (см.
Средняя оценка Average Client
43 • Маркетах 2 диаграмму – проблемы в
пользователей Rating
Используется для оценки: iOS версии)
• Статика по релизу 1 • Отслеживание динамики
• Динамика по итерациям 0 внедрения изменений
Релиз 1 Релиз 2 Релиз 3 Релиз 4
Продажи
Не принято сборок
Принято
14%
заказчиком
29% • KPI проектной команды
• Анализ причин непринятия
Customer Сборок принято заказчиком
Прохождение сборки
49 приёмки заказчиком Acceptance × 100%
• Инструмент аргументации
Всего сборок за период
Ratio
при внедрении решений по
углублению тестирования
Принято с
комментариями
57%
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
60
40
РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ В %
Безопасность
При наличии категорий в тестах, используется
для оценки различных аспектов качества:
Производительность • Оценка качества различных
Результаты
Test Results by GUI категорий ПО
60 тестирования по • Типы тестов (функц, произв, нагрузка и т.д.)
Category • Распределение ресурсов в
категориям • По приоритетам тестов Установка
наиболее проблемные области
• По областям функциональности Расчёты данных
Сборка
Операция
7.1.132 7.1.134 7.1.141
Открытие файла 1.5 1.5 1.5
Оценка скорости работы основных Закрытие файла 2 7 7
бизнес опций (загрузка ключевых Сохранение файла 4.5 4.2 3.9
страниц, выполнение ключевых Архивация 11 9 6.8
операций или запросов). • Для выявления регресса в
• Изменение скорости работы производительности
Производительность в Dynamical СКОРОСТЬ ВЫПОЛНЕНИЯ ОПЕРАЦИЙ • Для оценки улучшений
62 динамике performance
основных элементов
• Для оценки изменения
приложения. 12
10
скорости работы
• Динамика изменения скорости ключевого функционала
8
работы основных элементов,
6
относительно целевого
4
уровня. 2
0
132 134 141 146
1.2
1 • Оценить соответствие
Скорость отклика при разных 0.8 требованиям по нагрузке
Производительность Performance нагрузках, в подавляющем 0.6 • Для оценки возможности
64 под нагрузкой under load большинстве случаев измеряется
0.4
масштабирования
0.4
автоматизировано (JMeter, Grinder, 0.1 0.11 0.13 приложения по
0.2
HP Performance Center и т.д.) количеству пользователей
0
10 25 50 100 200
Количество одновременных подключений
Статус тестирования
× 100% Поддерживаемые Есть ошибки Не поддерживается Не тестировалось
Всего окружений
МОДИФИЦИРУЕМОСТЬ ПРОДУКТА
25
68 Модифицируемость Modifiability Проведён
20 рефакторинг
15
10
0
Март Апрель Май Июнь Июль Август
Улучшений/спринт Дефектов/спринт
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
H K P M
ОБРАЩЕНИЯ ПОЛЬЗОВАТЕЛЕЙ
Сохранение файлов
7%
Сбор статистики по обращениям в Архивация
14%
• Выявить зоны, в которых
техническую поддержку в статусе необходимо проведение
«ошибка пользователя» (обращения, в юзабилити-экспертизы
Структура Users complains
которых причиной ошибки было • Обнаружить ошибки и
71 пользовательских by product
нелогичности, которые
непонимание пользователя, а не Формирование
обращений modules отчёта незаметны опытным
дефекты в продукте)
54% участникам проекта,
Обращений по модулю
× 100% Открытие документа привыкшим к продукту
Всего обращений 25%
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
4. Эффективность тестирования
4.1 Скорость тестирования
# Метрика рус. Метрика Как рассчитывать Визуализация метрики Как использовать
англ.
Сборка Дата готовности Дата начала Дата завершения
тестирования тестирования
14.1 29.11 03.12 11.12
Время на 𝐴𝑉𝐺 (Дата завершения тестирования 14.2 21.12 21.12 29.12 • Статистика для
72 Time to test − Дата начала тестирования) 14.3 18.01 24.01 12.02 последующего
тестирование
the build планирования релизов
сборки Измеряется в рабочих днях 14.4 27.02 01.03 10.03
• Для определения зон
развития / повышения
СРЕДНИЕ ЗНАЧЕНИЯ ПОКВАРТАЛЬНО скорости
12 • Для поиска отклонений и
10
выявления причин
(простоев и срывов
8
сроков)
𝐴𝑉𝐺 (Дата начала тестирования 6
• Для оценки динамики и
Время до начала Time to start − Дата готовности сборки ) 4
73 влияния внедрённых
тестирования testing Измеряется в рабочих днях 2 изменений
0
1 кв 2 кв 3 кв 4 кв
Число дефектов
Для внедрения этой метрики необходимо добавить в • Для выяснения средних
баг-трекер поле «дата внедрения дефекта». значений (для планирования,
Время на Разработчик заполняет это поле в момент смены и оценки рисков)
обнаружение Time to start статуса дефекта на «исправлено» (в момент • Для обнаружения критичных
74 критического testing исправления он уже знает, какой именно коммит отклонения и выяснения
дефекта вызвал этот дефект, и может посмотреть, когда он был причин, почему так долго не
произведён). 0 1 2 3 4 5 6 7 8 9 10 могли обнаружить критичный
Дней на обнаружение дефект
Так как сбор этой метрики подразумевает
дополнительные затраты, обычно целесообразно
собирать эту статистику только по критичным Дефект Дней Причина долгого обнаружения Решение
17382 9 Был заблокирован для Убрать из статистики
дефектам.
обнаружения
17315 11 Не знали о влиянии параметра Провести ревью тестов по модулю с
в ТА архитектором, возможно, ещё что-то
упустили
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
• Оценить качество
ОЦЕНКИ ДЕФЕКТОВ РАЗРАБОТЧИКАМИ заведения дефектов на
5 проекте, в команде, у
4 отдельного сотрудника
• Выяснить причины
Bugs Субъективная оценка в баг-трекере, в разрезе 3
83 Качество заведения анормально низких
Submission разработчиков, тестировщиков, типов дефектов и 2
дефектов оценок для решения
Quality т.д. 1 • Учитывать
0 разработчиков, которые
Разработчик 1 Разработчик 2 Разработчик 3 Разработчик 4 могут завышать или
Катя Семён Настя
занижать оценки
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
Скорость Autotests
Среднее время на выполнение 1 теста: 150
84 прохождения execution
автотестов speed Время прохождения автотестов • Для планирования
100
Число автотестов тестовых циклов
50 • Для принятия решения об
эффективности автотестов
0 и их расширении
Релиз 1 Релиз 2 Релиз 3 Релиз 4 • Для обнаружения проблем
-50 со скоростью автотестов
Затраты на автоматизацию за период • Для своевременного
Актуальных тестов Новых тестов Сломано тестов Итого обнаружения регресса
Число новых автотестов за период
Autotests Релиз Время на Время на Затраты на Затраты на производительности
Скорость разработки
85 implementation Может считаться в разрезе сотрудников, автотестирование прохождение 1 поддержку 1 разработку 1
автотестов
speed команд, типов автотестов и т.д. сборки теста автотеста автотеста
Релиз 1 9ч 7 мин 0,2 ч/ч 3,4 ч/ч
Релиз 2 9ч 6,5 мин 0,2 ч/ч 4,2 ч/ч
Релиз 3 9,3 ч 7,2 мин 0,2 ч/ч 17 ч/ч
Релиз 4 9,5 ч 7,6 мин 0,3 ч/ч 6 ч/ч
# Метрика рус. Метрика англ. Как рассчитывать Визуализация метрики Как использовать
При анализе причин падения автотестов
Ложные Autotesting
88 выявлять все результаты, которые не ЛОЖНЫЕ РЕЗУЛЬТАТЫ АВТОТЕСТОВ
срабатывания False Alarms
были вызваны ошибками в продукте
100% • Для оценки уровня
При регистрации дефектов в областях,
90% достоверности
покрытых автотестами, уточнять, почему автотестов
дефект не был зарегистрирован по 80%
• Для оценки
итогам запуска автотестов. Если 70%
возможности
обнаруживаются автотесты, которые 60% принятия решений о
пропускают ошибки (нехватка проверок, 50% релизе продукта по
Ложные ошибки в логике), то такие ситуации 40% итогам автотестов
Autotesting (насколько
89 прохождения помечаются как ложные прохождения 30%
False Positives достоверны
тестов тестов. 20%
показатели
10% автотестов до
!Важно
0% проведения ручного
Ложные прохождения, как и пропуски в Продукт 1 Продукт 2 Продукт 3 Продукт 4 анализа)
ручном тестировании, невозможно
выявить все, и это будет примерная Корректный результат Ложные срабатывания Ложные прохождения
оценка.
Выгода от внедрения автотестов
Затраты на внедрение автотестов
× 100%
Где выгода от внедрения учитывает все • Для принятия
решений о внедрении
затраты на ручное тестирование, а
автоматизированного
Экономическая Autotests затраты на автоматизацию включают в
тестирования
90 оправданность Return of себя • Для выбора и
автотестов Investment • Разработку автотестов приоритезации
• Поддержку и актуализацию автотестов исходя из
автотестов их экономической
• Запуски и анализ результатов оправданности
автоматизированного
тестирования
Функций тестироуется автоматизировано
× 100% Есть автотесты Нет автотестов Невозможны автотесты
Всего функций в продукте
Покрытие
Features
автотестами В качестве функций могут выступать Функциональные требования
91 Coverage by
функционала функциональные требования,
Autotests • Для контроля
продукта пользовательские сценарии, области и
Автоматизировано Не автоматизировано следования плану
модули продукта и т.д.
• Для оценки
Покрытие возможности
Code Coverage Регресс тесты 1 прио
92 автотестами кода См. метрики #9-12 сокращения ручного
by Autotests
продукта Регресс тесты 2 прио тестирования
Regression • Для поиска зон, в
Автоматизировано
Coverage by Автоматизировано регр. −х тестов Рергресс тесты 3 прио которых необходимо
93 регрессионных × 100%
Coverage by Всего регрессионных тестов расширять
тестов автоматизацию
Autotests Реализовано по плану Запланировано, не реализовано Не планировалось
тестов
Выполнение
плана Automation Автоматизировано тестов План автоматизации
94 × 100%
автоматизации Plan Fulfilment План автоматизировать тестов
тестирования
Курс «QA Аудит» УЦ Лаборатория Качества > Неделя 3 > Дополнительные материалы > Список проектных метрик
natalya.rukol