Введение в аналитику

Александр начал с наглядного графика о расходах потребителей на игры. Как видно, в 2013 году мобильные игры не были особо популярны на рынке, но уже к 2017 году показатель обогнал основные вместе взятые  платформы (ПК, Mac, консоли).

Ведущими странами по расходам на приложения являются Китай, США, Япония, Южная Корея и Германия.

К 2022 году планируется, что парк смартфонов, а также платящих пользователей увеличится, а показатель среднегодового расхода на пользователя также увеличится, но менее значительно. Как и прежде, большую часть трат будут составлять траты в игровых приложениях.

Как ни странно, больше всего игроки тратят деньги внутри приложения именно в Японии. Расход там составляет 140$ в год!

Разогретый рынок установок мобильных приложений диктует среднюю стоимость установки, которая остается достаточно высокой. Ожидаемо, что экономически развитые страны составляют топ списка со стоимостью установки более $2.

Кроме того, на CPI влияют следующие факторы:

• засилие крупных игроков в топе
• рейтинговый алгоритм ранжирования приложений в топе
• большое количество инвестиционных денег
• рекламный фрод в недоброкачественных рекламных сетях
• а также неэффективный и неумелый подход к продвижению мобильных приложений.

Чтобы экономика игровых проектов сходилась, необходимо, чтобы ARPU был не меньше стоимости привлечения установки, что само по себе является амбициозной задачей.

Существуют особенности потребления мобильных игр, которые также накладывают свои ограничения, такие как:

• частые и короткие сессии – смартфон всегда под рукой и пользователи заходят в мобильное приложение при удобной возможности.
• различные сценарии взаимодействия со сматфоном – в спокойной или неспокойной обстановке, что имеет влияение на координацию и степень вовлеченности в игровой процесс.

Мобильные игры сильно отличаются от ПК игр или игровых консолей, поэтому требуют других подходов к проектированию, монетизации и аналитике, про которую сегодня поговорим.

Задачи мобильной аналитики

Все начинается с интеграции SDK (software development kit). У каждой системы аналитики есть собственный SDK, с которым она работает. Его необходимо интегрировать, протестировать и настроить до релиза. После релиза приложение выкладывается, пользователи устанавливают его и начинается сбор статистики.

Если этого не сделать сразу, то вы потеряете важные данные за период времени перевыкладки проекта, а также обновления приложения на устройствах пользователей. А при запуске проекта это особенно важно, так как первая статистика уже сможет указать на недочеты и ошибки, которым подвержены молодые проекты.

Вспомним особенности мобильных приложений:

• Взаимодействие с платформами ОС
• Ограниченная память и заряд батареи на смартфоне
• Монополия в дистрибуцию – для установки приложения необходимо посетить стор приложений
• Нестабильное беспроводное соединение – может искажать статистику
• Подверженность к падениям мобильных приложений
• Различные сценарии использования

Все они требуют учета при выборе и настройке платформ аналитики.

Рассмотрим путь пользователя мобильного приложения.

Популярные инструменты мобильной аналитики

• Трекинг – отслеживание установок
• Продуктовая аналитика – исследование важных метрик продукта, а также поведения пользователей
• Статистика по крэшам и ошибкам – мониторинг стабильности работы приложения
• Push и in-app коммуникации с пользователями
• Аналитика сторов приложений
• Запись пользовательских сессий и др.

Отслеживание установок

Для скачивания приложения, рекламных площадки отправляют  пользователей в стор. Как понять, что пользователь пришел в стор именно по конкретному рекламному сообщению? Ответ на вопрос дает – трекер. Это платформенное решение, использующее  специальную трекинговую ссылку, с помощью которой можно отследить отправную точку пользователя, сообщить рекламному партнеру о установке, а также получить детализированную статистику по различным каналам продвижения. Кроме того можно отследить различные источники платных установок, а также замерить post-install метрики приведенных пользователей, такие как: retention, прохождение туториал, покупки и другие.  Также анализировать эффективность различных видов размещений (сайт, мессенджеры, соц сети, e-mail, qr коды и др) и типов кампаний: CPI (Cost per install), CPA (Cost per action), Retargeting.

Все эти меры позволяют получить информацию для оптимизации кампаний: снижение цены и увеличение количества “полезных” установок.

Инструменты

Как правило, инструменты обычно платные, стоимость замера установки может доходить до 10% от стоимости установки и выше, к счастью встречаются и исключения – бесплатные решения, например платформа AppMetrica. Ценообразование складывается непосредственно из количества протреканных установок, а также может учитываться число кликов и событий. Не стоит забывать и о возможных ограничениях в виде важных источников трафика, доступу к «сырым» данным и др. Все, что вам в итоге нужно – определиться с набором характеристик трекера,  рассчитать и выбрать оптимальный тарифный план. И да, не забывайте торговаться..

Статистика по «крэшам» и ошибкам

Ни одно приложение не застраховано от багов и ошибок, поэтому не стоит об этом забывать – выберите инструмент и настройте мониторинги по крэшам и ошибкам. Возьмите за правило при каждом очередном релизе мониторить отчеты и принимать меры при необходимости.

Push и in-app коммуникации

Каждый день мы получаем кучу уведомлений, а между тем, далеко не каждый мобильный проект делает это персонализированно и своевременно – критичным становится факт доступа к данным для удобной возможности сегментации аудитории.

Push-кампании это прекрасный инструмент для коммуникации с пользователями и возвращения их в приложение. Допустим, игрок не заходил в игру несколько дней. Чтобы его активность не падала и дальше, можно использовать Push-уведомления, которые будут предлагать ему бонусы или напоминать про возвращение в игру. Решения тут опять же в большинстве своем представлены платными инструментами, а также требуют настройки.

Аналитика сторов

Бенчмаркинг полезный инструмент для сравнить свой проект с конкурентами, поэтому нам необходимы отчеты о количестве скачиваний, доходах и топах категорий.

Такие отчеты можно получить с помощью некоторых систем: AppFollow, ASOdesk, Sensor Tower, App Annie. Они помогают в ASO (App Store Optimization) активностях. Помимо всего этого такие продукты платные. К счастью  они не требуют встраивания SDK и подключить их можно в любой момент.

Продуктовая аналитика

Какие задачи стоят в продуктовой аналитике? Конечно же, это:

• Мониторинг метрик проекта: DAU, MAU, New Users, Retention, LTV, целевые события, покупки и другие;
• Формирование и проверка продуктовых гипотез;
• Анализ А/В тестов.

Платформы продуктовой аналитики, зачастую платные, предоставлены следующими решениями: AppMetrica, Amplitude, Devtodev, Firebase, Flurry, Localytics и пр. Тут также есть ограничения, как и в других платформах, например: отсутствие нужных отчетов, ограничения на объем и доступ к данным. Стоимость зависит от объема (зачастую есть триал и демо-доступ): как по объему аудитории, так и по числу событий.

Чтобы настроить аналитику для своего мобильного продукта, для начала нужно определиться с метриками.

Метрики продукта vs метрики роста

Метрики могут быть очень неоднозначны. Например, можно ли однозначно ответить на вопрос: хорошо это или плохо?

• аудитория растет каждый месяц на 50%  (возможно рост вызван большой долей платного трафика)
• конверсия от покупки составляет всего 1,5% (возможно для данного проекта это хороший показатель)
• после обновления игры возвращаемость пользователей выросла (но вместе с этим может уменьшиться и длина сессий, так как игровой баланс был смещен)

Однозначно нельзя, так как каждый раз остается доля неопределенности. Из этого следует, что метрики у каждого проекта\бизнеса должны быть индивидуальными. Помимо этого, набор основных метрик должен быть минимальным, но при этом однозначным для ответа на ряд ключевых для бизнеса вопросов. Выбрать правильные метрики необходимая задача. Для удобства терминологии можно определить  несколько видов метрик.

1. Метрики роста

С их помощью можно понять в целом, что происходит с проектом: растет ли новая или активная аудитория, возвращаемость или число платежей пользователей. К таким метрикам относятся MAU, DAU, установки, прибыль. Важно отметить, что они совершенно не подходят для аналитики продукта.

2. Метрики продукта

Такие метрики служат ориентиром для развития продукта, а также могут  помочь в глубоком понимании изменений в продукте. Как правило это такие верхнеуровневые базовые метрики, как:

LTV (Life Time Value) и CAC (Customer Acquisition Cost).

LTV отражает среднюю ценность, которую приносит игрок: сколько он готов заплатить за продукт, провести в нем времени и тд. Зачастую LTV считают за определенный промежуток времени.

CAC отражает затраты на привлечение пользователей.

Метрики высокоуровневые и они  требуют декомпозиции для определения возможных рычагов воздействия на них. Тут нужно учитывать типы монетизации проекта. Например, при монетизации in-app покупками, основу будут составлять сами покупки, а также пользовательскую воронку на пути к ним.

Определяемся с событиями

Для начала стоит мысленно пробежаться по сценарию проекта\игры и выписать для себя основные сценарии использования приложения. (позже пригодится нам при тестировании). Далее проходимся по каждому сценарию и формулируем интересующие нас вопросы о поведении пользователя (что хотим знать о пользователе). В конце определяемся с событиями и параметрами для системы аналитики, которые  позволят дать ответы на ваши вопросы (платформы аналитики позволяют отправлять кастомные события о поведении пользователей – сигналы, о том, что действие произошло).

Для примера рассмотрим такую важную часть проекта, как туториал (именно в момент первых минут после первого запуска приложения большая часть пользователей покидает приложение навсегда).

Сценарий: прохождение туториала, мы ограничимся общими его характеристиками.. Зачастую нас будут интересовать следующие вопросы:

• насколько туториал полезен и эффективен (какая доля пользователей научилась после прохождения)?
• где узкое горлышко туториала, на каком этапе туториала игроки покидают приложение?

Для каждого проекта будут свои особенности, определите их для себя сами. Вместе с этим список ваших вопросов к аналитике должен расшириться.

Из вопросов определяем события.

Если над проектом трудится команда из нескольких человек, то информация, в том числе о поведении пользователей, может быть полезна другим членам вашей команды: аналитику, специалисту по монетизации или дизайнеру, например. В таком случае можно спросить у своих коллег, что именно им было бы интересно узнать о поведении пользователей, и расширить свой список вопросов.

Из полученного вами списка событий удобно составить карту событий в формате Excel, например, и вместе с информацией по каждому событию. Удобно будет указать информацию о событии на экране, где оно наступило, элементе экрана и триггере события.

Ограничения и особенности платформ аналитики

Следующим этапом необходимо выбрать удобную для вас платформу аналитики, а также учесть ее ограничения и особенности.

• Технические, к примеру: допустимое число событий и параметров, квоты на доступ к «сырым» данным, ограничения по аудитории.
• Интерфейсные, к примеру: отсутствие нужных отчетов, неудобство работы с отчетами и их гибкость.
• Финансовые: оплата за модули отчета, прогрессивная стоимость в зависимости от аудитории\числа событий.

В итоге мы должны нашу карту событий оптимизировать для работы с конкретной системой аналитики, а для этого нам нужно смотреть в документацию и учитывать ограничения и особенности платформы. В последующем это окупится для нас  удобной работой с аналитикой.

Интеграция и тестирование

Тестирование – один из самых главных этапов. Для того, чтобы доверять статистике, необходимо тестировать корректность отправки событий и параметров.

Шаги:

1. Устанавливаем приложение с SDK на тестовые устройства;
2. Тестируем. Удобно прибегать к сценариям использования приложения (см выше);
3. Тестируем для всех версий ОС;
4. Сверяемся с данными в отчетах – смотрим на имя события, время его наступление и параметры события;
5. Работаем над ошибками. Повторяем процедуру при необходимости;
6. Релиз приложения в сторе.

Сегментация

Важнейший инструмент работы аналитиков – это сегментация. Позволяет рассматривать метрику не как что-то целое, а декомпозировать ее на значимые составляющие. Сегментация имеет широкий спектр применения – управление маркетинговыми активностями, построение дашбордов, исследование метрик.

Стоит найти значимые переменные для вашего проекта. Они представляют собой те вещи, которые влияют на метрику. Зачастую к таким переменным относятся:

1. Источник трафика;
2. Географическое положение (страна, область, город);
3. Сезонные факторы (выходные, праздники, времена года);
4. Технические характеристики (операционная система, браузер, версия ОС);
5. Социально-демографические показатели;
6. Факторы, специфичные для вашего конкретного продукта.

Закончил Александр идеей о том, что ни одна платформа аналитики используемая “из коробки” не решит всех аналитических  задач вашего проекта – универсальных платформ под все категории и особенности платформ просто не бывает. Для каждого зрелого проекта наступает момент, когда необходимо “пилить” что-то свое. Внешних библиотек с необходимой агрегацией данных и их визуализации большое множество, большинство из них бесплатны, а доступ к пользовательским неагрегированным данным можно достать из некоторых платформ аналитики – например, из AppMetria или Amplitude.

В конце концов, способность рассчитать необходимые метрики и получить важные отчеты с помощью переиспользования существующего опыта и решений – это необычайно ценный навык, а

светлая голова и прямые руки – путь к своей лучшей аналитике.

В Высшей школе бизнес-информатики НИУ ВШЭ регулярно проводятся мероприятия по игровой индустрии, которые можно посетить лично. Ближайшее состоится 28 августа – это будет лекционный вечер по геймдизайну. Вход бесплатный, только по регистрации для списков на входе у охраны.

TL;DR – в чем смысл:

1. Установки
2. MAU
3. DAU
4. Прилипчивость (DAU/MAU)
5. Возвраты (Retention Rate)
6. Отток (Churn Rate)
7. ARPU
8. LTV
9. Среднюю транзакцию (Average Transaction Value)
10. Время до покупки
11. CPI

Читать: https://gamebusiness.net/11-key-mobile-game-metrics-that-developers-must-track/.

Чтобы облегчить жизнь маркетологов, Facebook совместно с компанией AppsFlyer проанализировал (полный текст исследования можно скачать здесь) 250 млн. неорганических установок 3800 приложений в первом квартале 2018 года, общий бюджет которых составил 2,4 млрд. долларов по всему миру. При подсчете сумм специалисты рассматривали расходы пользователей не только на покупку самого приложения, но и на внутренние услуги, и доходы от рекламы. Учитывался весь трафик: как органический, так и неорганический.

8 главных вещей, которые мы узнали из исследования:

• 90 процентов пользователей — не платят
  Результаты для различных тематических отраслей отличаются друг от друга. Например, в сегменте туризма средняя прибыль на 1-го пользователя составила 29,42 доллара, а доля платящих пользователей при этом равна 9,6%.
• Большинство покупок совершается с десктопа
  Если пользователь хочет лишь примериться, прояснить обстановку на рынке туристических услуг, сравнить цены на билеты, отели и т.д., то обычно он делает это с телефона. Если же он настроен более серьезно, давно все проверил, решил, что ему нужно, и готов сделать покупку прямо сейчас, то с наибольшей вероятностью он сядет за компьютер, достанет паспорт, карты для оплаты и прочее. Такой процесс почему-то до сих пор ассоциируется с надежностью, хотя технологии смартфонов позволяют сохранять данные карт, чтобы потом при покупке или бронировании вводить их в два клика без возни в бумажных документах. И это достаточно безопасно.
• Наибольшая выгода – у приложений для бронирования билетов и жилья
  Действительно, основной доход приходится на приложения для бронирования билетов и гостиниц, а это 60% от всей прибыли.  То есть от приложений с картами, достопримечательностями и прочими важными туристическими активностями больших денег, скорее всего, сделать не получится.
• Россия далеко не на последнем месте
  В России путешественники тратят больше, чем в Бразилии и Индии, но значительно меньше, чем в США и Великобритании.

• Но доход от российских пользователей со временем не увеличивается
  В нашей стране пока нет прямой зависимости увеличения дохода от пользователя при увеличении времени использования приложения – после 1 месяца с установки этот показатель почти никак не меняется. По данным исследования AppsFlyer, абсолютными лидерами в этом вопросе, конечно, остаются США и Великобритания, кривая LTV в этих странах по прошествии времени только растет, а российский рынок, как уже было сказано, этим похвастаться не может.
• Аудитория из Великобритании – очень лакомый кусочек
  У англичан самый высокий процент бронирования в первый день, он в 3 раза выше, чем на других ключевых рынках, причем к первой неделе и первому месяцу он почти не снижается и остается на таком же стабильно высоком уровне. Так что разработчикам приложений, которые будут использоваться во всем мире, следует обратить особое внимание на англоязычный регион – почти каждый пятый пользователь в Англии совершает более 3 покупок за 90 дней. Это окажет немедленный эффект на увеличение LTV.

• Органические пользователи тратят значительно больше
  Для менее масштабных историй тоже есть несколько полезных инсайтов: исследование показало, что органические пользователи бронируют жилье в 2,5 раза чаще. И средний доход от этой аудитории обычно на 60% выше. Не секрет, что органическая аудитория более ценна, и данные показатели лишь подтверждают это.
• Таргетироваться на iOS выгоднее
  Яблочные пользователи, как это обычно и бывает в результатах похожей аналитики, оказались “богаче” – во-первых, доля туристов, использующих iOS изначально на 50% выше, чем на Android, а во-вторых, доля LTV в приложениях для туризма на iOS также выше, но на этот раз уже на 60%.

Подводя итог, обязательно нужно обратиться к экспертам. Аналитики AppsFlyer считают, что запуск большего количества кампаний увеличит число столь ценных органических установок, которые генерируют значительную часть от общего дохода. А повторное вовлечение поможет увеличить прибыль, которая традиционно снижается после первой недели использования, т.к. пользователи совершают нужное им действие и забывают про ваше приложение, при худшем сценарии даже удаляют его.

“LTV: краеугольный камень маркетинга приложений” — отчет AppsFlyer

Что это вообще такое?

Это видео, на самом деле, пишет встроенная в приложение Burger King аналитика Appsee – несколько раз в секунду она делает скриншоты и объединяет их в видео. Да, она действительно записывает пользовательские сессии и отправляет их на свой сервер.

Это может перехватить любой?

Нет. В данном примере взломщик на собственном компьютере подменил сертификат безопасности. В “полевых” условиях это практически невозможно, так как нужно физическое внедрение на конечное устройство.

Приложение все-таки отправляет персональные данные?

Вовсе нет, все данные анонимные, более того – важные поля закрыты черными плашками. Вот, например, как в реальности выглядит поле ввода данных кредитной карты в приложении Burger King – видео.

Данные ввода с клавиатуры также не передаются.

Кому видны такие обезличенные сессии?

Только владельцам приложения – аналитикам Burger King.

Значит, все равно я под угрозой?

Нет, Appsee прошел  проверку GDPR, самую строгую политику конфиденциальности и защиты персональных данных на сегодняшний день. Burger King, в соответствии со всеми  законами РФ, обрабатывает ваши данные.

Меня не предупредили!

Предупредили – вы согласились с правилами использования и в них это записано. Ведь вы же их прочитали, да?

Ну хотя бы запись жрет мой трафик и батарею? Все равно вред наносит!

Нет, даже во включенном состоянии запись (производимая Appsee) минимально сказывается на потреблении энергии, а данные передает только при подключении к Wi-Fi.

Зачем приложению Appsee?

Это очень интересный и полезный инструмент пользовательской аналитики (вы можете попробовать его сами бесплатно в течение 14 дней). Он позволяет, например, отслеживать сбои и понимать обстоятельства их возникновения, создавать тепловые карты тапов и понимать, как пользователи взаимодействуют с приложением. В конце концов, приложение становится лучше с точки зрения UX и устранения ошибок.

Реализуемо это другими средствами, а не записью экрана?

Наверное, да, но экран более нагляден и прост в понимании для аналитиков.

Они все заранее не протестировали, а теперь на нас эксперименты ставят!

Все протестировать заранее невозможно. Приложение – сложный программный продукт, над которым работают десятки людей. Его просто физически невозможно протестировать на всех устройствах, во всех состояниях, для всех групп пользователей.

Кто еще использует такую аналитику?

Многие. Например, обучающая платформа Busuu, The Weather Network — один из ведущих мировых провайдеров погодной информации, eBay, Samsung, AIG.

Что за Appsee такой?

Это сервис мобильной аналитики, который работает публично с 2012 года. Всего в него инвестировано около 3 миллионов долларов.

Так и что в итоге?

Burger King использует стандартное и распространенное средство аналитики, которое пишет и передает анонимные записи. Никакой сенсации в этом нет.

Если у вас еще остались вопросы – пишите в комментарии, будем отвечать!