На что обратить внимание

при выборе метрики

 Интерпретируемость и способность действовать, опираясь на метрику
Одна из самых распространенных ошибок.
Кандидат предлагает метрику, которая не
соответствует бизнес-целям или
продуктовым задачам.
Например, при обсуждении улучшения
конверсии в регистрацию, кандидат
предлагает как основную метрику ARPPU
(средний доход на платящего пользователя).
Хотя точно есть метрики, которые подходят
лучше.
Вот несколько вопросов, которые помогут
выбрать интерпретируемую метрику:
● Понятно, как данная метрика связана с
бизнес- и продуктовыми целями?
● Мы понимаем, какие действия мы
совершим, заметив изменение метрики?
● Способны ли все члены команды
объяснить, когда изменение этой метрики
является положительным, а когда -
отрицательным?
 Чувствительность

Хорошая метрика должна быстро Как определить, что метрика достаточно

реагировать на изменения в продукте или
рынке. На собеседованиях при обсуждении
дизайна A/B-тестов кандидаты могут
предлагать адекватные метрики, но не всегда
они подходят для реального дизайна
эксперимента.
чувствительна:
● Насколько велик разброс данной метрики?
● Если проводим исследования или
эксперимент, устраивают ли нас ошибки I и
II рода?

Например, использование LTV (пожизненной

стоимости клиента) может быть не лучшей
идеей, т.к. есть промежуточные метрики,
которые гораздо быстрее помогут оценить
эффект от изменения
 Возможность декомпозировать метрику

Способность декомпозировать метрику - Какие вопросы задать:

важное свойство, которое помогает выявить ● Возможно ли разбить метрику на
точки роста. составляющие?
● Понимаем ли мы, как исследовать и
На собеседовании, при ответе на вопрос о воспроизводить рост/падение метрики?
том, как определить причину изменения
метрики, разбиение метрики на составляющие
может быть хорошим первым шагом в
анализе.
 Надежность и объективность метрики
Часто мы можем видеть изменение метрики и
думать, что принимаем решение на данных.
Однако это не имеет смысла, если нельзя
доверять данным, на которых собираются
метрика.
Например, мы собрали данные, которые не
представляют всю генеральную совокупность.
Или использовали данные только за будние
дни без учета выходных.
Для выявления потенциально ненадежных
метрик полезно ответить на следующие
вопросы:
● Есть смещение в выборке данных?
● Равномерно представлены все группы
пользователей?
● Умеем ли мы выделять основные сегменты,
чтобы исследовать их отдельно?
● Присутствуют пропущенные или
дублированные данные?
 Эффективность расчёта

Не самое очевидное требование к метрике, но Вопросы, которые нам помогут:

иногда крайне важное. Например, мы хотим
измерять часть операционного процесса, но ● Оправдываются ли затраты на получение
для этого нам придётся вносить изменения в этой метрики?
структуру датчиков, собирающих ● Можем ли мы рассчитывать метрику с
информацию. необходимой точностью и в рамках
требуемых сроков?
Сама по себе идея рассчитать метрики
хорошая, но необходимо сначала оценить,
окупает ли получение этих знаний затраты
на сбор данных
 Крайне советую прочитать

https://www.microsoft.com/en-us/research/group/experimentation-platform-exp/articl
es/stedii-properties-of-a-good-metric/