2.

Soft Launch и базовые метрики

ГЛАВА ЗАВЕРШЕНА

Майк, CPO

Привет, Анон! 

Пришла пора рассказать тебе детали плана публичного запуска Instachat.

Мы держали дату в секрете на случай, если вдруг Soft Launch (наш
тестовый запуск), который стартовал примерно месяц назад, показал бы
плохие результаты. Но все хорошо, и мы готовы запускать продукт на
широкую аудиторию.

Запуск будет послезавтра. К нему будет приурочен специальный ивент, на

который мы пригласили журналистов, блогеров и всех видных людей IT-
индустрии.

Для презентации этого ивента нужно подготовить кое-какие данные.

Сейчас расскажу тебе все подробности.

Майк, CPO

Примерно месяц назад мы секретно запустили приложение на iOS под

другим именем.

Мы сделали Soft Launch в Apple App Store в США. Чтобы ограничить

доступ к продукту, мы продвигали приложение лишь в одном штате.
Целью было обкатать продукт и убедиться, что он готов к большому
запуску.

Мы не могли выбрать для тестирования Канаду или Австралию (страны,

которые обычно используют для Soft Launch), так как наш продукт
требует дополнительных доработок для каждой страны. Наша первая
СКАЧАНО С WWW.SHAREWOOD.BIZ - ПРИСОЕДИНЯЙСЯ!
цель – США, поэтому и рынком для Soft Launch, хоть и со всеми
предосторожностями, мы выбрали США.

Soft Launch

Soft Launch, или софт лонч, – это пробный запуск на ограниченную

аудиторию с целью протестировать продукт прежде, чем публично
выходить на массового потребителя.

Мобильные приложения обычно сначала тестируют на одном

небольшом рынке. Чаще всего выбирают Канаду или Австралию, так
как они очень похожи на США. А разработчики обычно
оптимизируют свои приложения именно под Соединенные Штаты
Америки, поскольку это один из главных рынков в мире.

Soft Launch преследует несколько целей:

1. Собрать фидбек на новый продукт от реальных пользователей.

2. Получить данные о ключевых метриках продукта, чтобы понять,
насколько он готов к релизу на весь мир (если у продукта будут
плохие метрики, лучше сначала их улучшить, а потом уже
запускаться повсюду).
3. Протестировать продукт в боевых условиях, найти все проблемы/
баги и поправить их до того, как продукт станет доступен широкой
аудитории.
4. Проверить и обкатать будущие маркетинговые каналы.

Soft Launch Wiki

Майк, CPO

Ниже наш план публичного запуска (на всякий случай напоминаю, что
сегодня 13 марта 2016 года):

14 марта мы зарелизим новую версию приложения, в которой изменим

имя на Instachat и добавим ряд новых крутых фич.
15 марта мы публично анонсируем запуск продукта на ивенте для
прессы и важных гостей.
 В ближайшее время мы продолжим работать только на iOS и только в
США.
Через несколько месяцев запустимся на Android. Версия Instachat под
Android пока не готова.
Потом начнем постепенно выходить в другие страны. Наши технологии
требуют адаптации и доработки для других стран и языков.

Майк, CPO

Мне необходимо, чтобы к этой презентации был собран ряд ключевых

метрик на основе данных, полученных во время Soft Launch.

Для этого тебе потребуется следующая информация.

1. Версия приложения Instachat, которая была в Soft Launch

Ниже приведена структура основных экранов Instachat.

После первого запуска приложения пользователь проходит онбординг:

1. Сначала вводит свой номер мобильного телефона.

2. Ожидает получения кода подтверждения в СМС.
3. Получает код подтверждения в СМС и вводит его.
4. Далее запрашивается доступ к камере и галерее.
5. Далее запрашивается доступ к контактам из телефонной книги
пользователя.
6. Далее запрашивается доступ к пуш-уведомлениям.
7. После этого пользователь попадает на главный экран с чатами, где ему
предлагают пригласить друзей (контакты из телефонной книги) в
приложение.

Если у пользователя уже есть друзья в приложении, он сразу увидит их на

главном экране.
Ключевая функция Instachat – специальный умный саджест, который
называется Smart Reply.

Smart Reply предлагает пользователю возможные варианты

сообщений, исходя из текущего контекста разговора.
Предлагаются как текстовые варианты ответов, так и фото/видео,
если, к примеру, Smart Reply решил, что пользователь именно сейчас хочет
отправить недавно сделанную фотографию.
Smart Reply показывается всегда.

[ссылка на структуру экранов Instachat в полном разрешении]

2. Доступ к системе аналитики

Для аналитики мы используем Amplitude – одну из лучших событийных

систем аналитики на рынке.

Чтобы получить доступ к данным за первый период времени, введите

следующие логин и пароль.

В будущих главах вы получите новые логин и пароль для доступа к

данным за другие периоды времени.

Важно: используйте обязательно ссылку ниже для входа в Amplitude.

Если вы зайдете на главную страницу их сайта и введете логин/пароль
там, то попадете не туда, куда нужно (по умолчанию Amplitude направит
вас в demo-аккаунт). Вам же надо попасть на аккаунт с Org url = sim1.

https://analytics.amplitude.com/login

Период времени Org url  Логин Пароль

1 фев – 12 мар 2016 sim1 choooy+1@mail.ru Iamdatadriven1

3. Структура событий, которые мы собираем в систему аналитики

[ссылка на файл со структурой событий]

Файл состоит из двух вкладок:

1. Events v1 – набор событий, которые отправляются в систему аналитики.

2. User properties v1 – набор собираемых свойств пользователей.

Внимательно изучите структуру собираемых данных.

Ключевые собираемые в систему аналитики события:

Launch first time – событие отправляется, когда пользователь первый

раз запускает приложение.
Session start – событие отправляется при каждом запуске приложения.
Invites sent – пользователь отправил приглашение в приложение своим
друзьям.
Contact joined – кто-то из контактов пользователя в первый раз
запустил Instachat. Событие присылается, даже если в этот момент
пользователь, у которого добавился друг, не находится в приложении.
Событие присылается от лица пользователя, у которого добавился друг в
приложение.
Message sent – пользователь отправил сообщение.
Message received – пользователю написали сообщение. При этом
пользователь может не быть в приложении. То есть это событие говорит о
том, что пользователю написали, а не о том, что он получил сообщение.

Как выполнить поставленную задачу

С выполнением задачи сбора ключевых метрик Instachat поможет
инструмент Segmentation (Сегментация) в Amplitude.

Если вы умеете с ним работать, то пропустите последующую теорию

и переходите к практике. Если вы раньше не работали с системами
аналитики, построенными вокруг событий (events), или чувствуете
себя в них неуверенно, стоит прочесть теоретическую часть.

Как данные оказываются в системе аналитики

В приложение встраивается специальный SDK, который позволяет

отправлять события в систему аналитики. После разработчик
добавляет отправку событий в нужные места в приложении
(например, при первом запуске приложения или при отправке
сообщения).

Когда пользователь взаимодействует с приложением, при

совершении определенных действий от него на серверы системы
аналитики отправляются события. А мы можем изучать эти данные
и отвечать на интересующие нас вопросы.

В самой системе аналитики для получения событий ничего

предварительно настраивать не нужно. Amplitude получает все
события, которые приходят из приложения, и позволяет с ними
работать с помощью разных инструментов.

Как работает система аналитики Amplitude

В основе Amplitude лежат:

1. События (events).
2. Параметры событий (event properties).
3. Параметры пользователя (user properties).

События – любые действия, которые пользователи совершают, или

которые с ними происходят в приложении.

Параметры событий – характеристики, описывающие эти действия.

Параметры пользователя – характеристики, описывающие
пользователя, который совершает действие.

Например,  мы будем отправлять событие Message sent, когда

пользователь в приложении отправляет сообщение.

В качестве параметров события с Message sent мы будем

передавать в систему аналитики дополнительную информацию об
отправленном сообщении. Например, параметр content_type будет
показывать, что именно пользователь отправил в сообщении
(content_type = text, если сообщение было текстовым, content_type =
media, если отправлено фото или видео). А параметр smart_reply
будет показывать, был ли использован умный саджест Smart Reply
для отправки сообщения или нет (smart_reply = yes/no).

Параметры пользователя хранятся в профиле пользователя. Из

какой он страны, какая у него версия приложения, когда он первый
раз запустил приложение, из какого источника трафика пришел и т.
п. Многие из параметров Amplitude собирает автоматически, но
специфичные параметры для конкретного продукта нужно будет
добавить самостоятельно.

Когда в систему аналитики отправляется событие, то все параметры

из профиля пользователя в момент отправления прикрепляются к
нему. Таким образом, мы знаем все о пользователе в момент
совершения им определенного действия (вся информация о
пользователе прикреплена к самому событию).

Как события появляются в инструментах системы аналитики

События не требуется вручную добавлять в систему аналитики.

Разработчик добавляет отправку событий в нужные места в

приложении или веб-сервисе, а система аналитики после получения
данных сама формирует список событий на основе того, что в нее
приходило.

Как работает инструмент сегментации

Мы шлем события в систему аналитики, чтобы понимать, как люди
пользуются приложением.

Инструмент сегментации позволяет ответить на вопросы:

Сколько людей совершали определенное действие?

Сколько раз они совершали это действие?

Также инструмент может сегментировать полученные данные с

помощью передаваемых параметров. Например, сколько раз
совершили определенное действие пользователи из США с
операционной системой Android и т.д. Вы можете задавать любые
условия из параметров, которые передаются в систему аналитики
вместе с изучаемым событием и пользователем.

Чтобы перейти на отчет сегментации в Amplitude:

1. Нажмите на New в левом верхнем углу.

2. Затем на правую часть кнопки Chart.
3. Затем выберите отчет сегментации.

Как пользоваться отчетом сегментации

1. Выберите интересующее событие.

2. При необходимости выберите параметры события и параметры
пользователя в момент совершения события (для добавления
кликните на where).
3. При необходимости сформируйте один или несколько сегментов
пользователей (например, пользователи из США).
4. Выберите интересующую метрику (Uniques – число уникальных
пользователей, Totals – число событий).
5. Выберите период времени.
6. Гранулярность отчета (дни/недели/месяцы).
7. При необходимости скачайте данные в формате csv.

Разница между Uniques и Totals (важно)

В (4) вы можете выбрать, что именно вы хотите получить на выходе:

Число уникальных пользователей, которые совершили действие

(Uniques).
Или суммарное количество действий, которое было совершено
(Totals).

Давайте разберем пример, чтобы вы лучше поняли разницу.

Пусть в приложении есть всего один пользователь. Этот

пользователь 9 ноября отправил 10 сообщений (событие Message
sent). Если вы посчитаете отчет для события Message Sent за 9
 ноября и выберете Uniques, то в результате получите 1, то есть
число уникальных пользователей, которые совершили это действие.
Если вы выберете Totals, то получите 10, то есть количество событий
Message Sent.

Это очень важный момент, поэтому если вы его не поняли до конца,

прочитайте более подробное описание в документации от Amplitude.

Документация по отчету сегментации в Amplitude

ЗАДАНИЕ 1

Посчитайте метрики, указанные ниже. 

Сбор данных – это стандартная процедура перед тем, как перейти

к анализу и формированию выводов. Поэтому сначала вам предстоит
просто посчитать ключевые метрики, а заодно познакомиться со
структурой данных и ключевыми функциями продукта.

Важно: при работе с Amplitude не забудьте выбрать правильный период

дат (февраль–март 2016 года).

Задание 1.1

Посчитайте дневную аудиторию продукта (по дням). 

Когда пользователь запускает приложение, присылается

событие Session start.

Чему равна дневная аудитория 1 марта 2016 года?

680

Совершенно верно!
Правильный ответ – 680.

Ссылка на отчет

Задание 1.2

Посчитайте число новых пользователей (по дням). 

Когда новый пользователь в первый раз запускает приложение,

присылается событие Launch first time.

Сколько новых пользователей пришло 1 марта 2016 года?

450

Совершенно верно!

Правильный ответ – 450.

Ссылка на отчет

Задание 1.3

Посчитайте число отправленных сообщений (по дням). 

Когда пользователь отправляет сообщение, присылается

событие Message sent.

Чему равно число отправленных сообщений 1 марта 2016 года?

327

Неверный ответ.

Правильный ответ – 1488. 

Вы забыли поменять Uniques на Event Totals при расчете.

327 – это число уникальных пользователей, которые отправили

сообщение 1 марта.

Ссылка на отчет

Разница между Uniques и Totals

Мы уже обсуждали разницу между Uniques и Totals выше, но это

очень важный момент, поэтому давайте повторим.

В отчете сегментации вы можете выбрать, что именно вы хотите

получить на выходе:

Число уникальных пользователей, которые совершили действие

(Uniques).
Или суммарное количество действий, которое было совершено
(Totals).

Давайте разберем пример, чтобы вы лучше поняли разницу.

Пусть в приложении есть всего один пользователь. Этот

пользователь 9 ноября отправил 10 сообщений (событие Message
sent). Если вы посчитаете отчет для события Message Sent за 9
ноября и выберете Uniques, то в результате получите 1, то есть
число уникальных пользователей, которые совершили это действие.
Если вы выберете Totals, то получите 10, то есть количество событий
Message Sent.

Это очень важный момент, поэтому если вы его не поняли до конца,

прочитайте более подробное описание в документации от Amplitude.
Документация по отчету сегментации в Amplitude

Задание 1.4

Посчитайте число отправленных через Smart Reply сообщений

(по дням).  

Когда пользователь отправляет сообщение через Smart Reply,

присылается событие Message sent c параметром smart_reply =
yes.

Чему равно число сообщений, отправленных через Smart Reply 1

марта 2016 года?

442

Совершенно верно!

Правильный ответ – 442. 

Ссылка на отчет

Задание 1.5

Посчитайте долю сообщений, отправленных через Smart Reply,

от всех отправленных сообщений (по дням). 

Чему равна доля сообщений, отправленных через Smart

Reply 1 марта 2016 года?

30.2%
 29.7%

32.3%

Не знаю

Совершенно верно!

Доля сообщений, отправленных через Smart Reply 1 марта,

составляет 29.7%.

Для получения ответа можно было разделить значения, полученные

в двух прошлых заданиях, либо воспользоваться формулами в
Amplitude.

Ссылка на отчет

Задание 1.6

Посчитайте число пользователей, использующих Smart Reply

(по дням). 

Когда пользователь отправляет сообщение через Smart Reply,

присылается событие Message sent c параметром smart_reply =
yes.

Сколько пользователей использовали Smart Reply 1 марта 2016

года?

͟ 183

Совершенно верно!

Правильный ответ – 183. 

Ссылка на отчет

Задание 1.7

Посчитайте долю дневной аудитории, которая использует Smart

Reply (по дням). 

Доля дневной аудитории определенной функциональности

равна отношению аудитории этой функциональности к дневной
аудитории в этот день.

Чему равна доля дневной аудитории, использующих Smart

Reply 1 марта? 

28.2%

22.3%

26.9%

Не знаю

Совершенно верно!

Доля пользователей, которые использовали Smart Reply 1 марта,

равна 26.9%.

Для получения ответа можно было разделить значения, полученные

в прошлых заданиях, либо воспользоваться формулами в Amplitude.

Ссылка на отчет

Задание 1.8
Посчитайте число отправленных текстовых сообщений (по
дням).

Когда пользователь отправляет текстовое сообщение,

присылается ивент Message sent c параметром content_type =
text.

Сколько текстовых сообщений было отправлено 1 марта 2016

года?

1
͟ 124

Совершенно верно!

Правильный ответ – 1124. 

Ссылка на отчет

Задание 1.9

Посчитайте число сообщений с медиа файлами (по дням). 

Когда пользователь отправляет сообщение с медиа файлом,

присылается событие Message sent c параметром content_type =
media.

Сколько сообщений с медиа файлами было отправлено 1 марта

2016 года?

364

Совершенно верно!
 Правильный ответ – 364. 

Ссылка на отчет

Задание 1.10

Посчитайте число сообщений с медиа файлами через Smart

Reply.

Когда пользователь отправляет медиа файл через умный

саджест,  присылается событие Message sent c параметрами
smart_reply = yes и content_type = media.

Сколько было отправлено сообщений с медиа файлами через

Smart Reply 1 марта 2016 года?

52

Совершенно верно!

Правильный ответ – 52. 

Ссылка на отчет

[Файлы] Как с ними работать

В процессе обучения вы будете получать ссылки на файлы с данными или

структурой для заполнения ответов.

Эти файлы лежат на Google Drive и доступны только для просмотра.

Чтобы редактировать файл и работать с ним, не надо запрашивать
право доступа. Просто создайте копию файла и добавьте к себе в Google
Drive.

Делается это так:

1) Перейдите по ссылке на файл

2) Нажмите на меню "Файл" и выберите "Создать копию"

3) Дайте файлу название и скопируйте в папку на своем Google Drive
(лучше завести отдельную папку). 

После этого вы можете делать с файлом все что угодно.

ЗАДАНИЕ 2

По ссылке находится [файл с собранными данными] за период с 1

февраля 2016 года по 12 марта 2016 года.

Скопируйте его к себе в Google Drive и попробуйте составить свое

представление о Instachat исключительно на основе имеющихся данных.

Вам в этом помогут вопросы ниже.

Как добавить график/изображение к ответу

График в ответ можно добавить как изображение. Для этого надо

нажать на правую иконку в поле ввода.

Задание 2.1

Находят ли пользователи, приходящие в Instachat, весь

продукт полезным (вопрос про полезность Smart Reply будет
следующим)? 

Подкрепите ответ графиком.

В поле для ответа можно добавить и картинку с графиком, и

текстовый комментарий.

Ваш ответ:

Да, количество пользователей меньше количества

отправленных сообщений каждый день. ПРиложением
пользуются, соответственно пользователи находят в продукте
полезность

 
Задание 2.2

Насколько востребована функция умного саджеста Smart

Reply?

Чтобы ответить на этот вопрос, сравните популярность Smart

Reply с другими функциями Instachat, попытайтесь вспомнить,
как часто вы сами используете разную функциональность в
других мессенджерах.

Подкрепите ответ графиком. 

Ваш ответ:

Чуть выше 25% - средний процент пользователей, которые

пользуются новой функцией. Учитывая что функция абсолютно
новая, то это не плохой показатель.

Задание 2.3

Ключевая цель команды Instachat – растить число активных

пользователей продукта. 
 На основе данных, полученных из Soft Launch, как вы думаете,
готов ли Instachat к стадии активного роста, когда команда
начнет привлекать в него большое число новых пользователей?

Ваш ответ:

Доля новых пользователей растет, при этом общая аудитория

тоже увеличивается. Но отток равен около 40%, я бы поработал
над количеством оттока, выявил основные причины и далее уже
переходил к росту

Никто не помнит цифры, все помнят выводы из цифр

Одна из особенностей работы с данными в том, что несмотря на то,

что большую часть времени вы тратите на цифры, в умах людей
останутся лишь выводы, сделанные из этих цифр.

Никто не запомнит точную долю аудитории приложения, которая

использует Smart Reply. Запомнят тот вывод, что вы сделаете на
основе этой информации. То есть ответ на вопрос: "Насколько
востребована функция умного саджеста?" Поэтому при работе с
данными надо очень аккуратно превращать эти данные в выводы.

Правильные ли ваши выводы или нет

Ответ на этот вопрос вы узнаете из следующих глав. 

ЭТО КОНЕЦ ГЛАВЫ. ДЛЯ ПРОДОЛЖЕНИЯ ОЦЕНИТЕ,
ПОЖАЛУЙСТА

Интересность

Полезность

Интересность и полезность обязательные поля

ЭТО КОНЕЦ ГЛАВЫ