Быстрые метрики: как распознать проблему на этапе soft launch

«Нет времени объяснять, давай нальем ещё трафика!», — часто слышим мы в devtodev от наших клиентов, сопровождая аналитику игры на soft launch.

Сразу после запуска игры или очередной её версии очень важно отслеживать правильные показатели, но, к сожалению, мы замечаем, что разработчики смотрят совсем не на те метрики или ждут от них необычно больших значений, и как следствие, принимают неверные решения.

В этой статье вы найдёте обзор «быстрых метрик», то есть показателей игры, которые можно использовать уже в первый день или первые дни после запуска.

Метрики первого дня

Пожалуй, самая главная и наиболее популярная метрика на этом этапе — это 1-day retention. Её рассчитывают все аналитические системы, и она показывает долю пользователей, входивших в приложение на следующий день после первого запуска. Эта метрика представляет собой реализацию правила «встречают по одежке», и для её увеличения надо работать над оптимизацией первой сессии и визуального стиля игры. Впрочем, про 1-day retention уже написано достаточно много, мы же сосредоточимся на менее изученных метриках.

Сравнение 1-day retention и 7-day retention в демо-проекте devtodev

Метрика 0-day retention. Не удивляйтесь, она совсем не обязана быть равной 100%. Она показывает долю пользователей, которые в течение 24 часов после первого входа совершали и второй вход. То есть доля тех, кто вернулся в игру. Она считается быстрее, чем 1-day retention, и очень полезна на soft launch, когда нужно быстро понять ситуацию. Обычно она равна 60-70% для успешных проектов.

Если мы говорим об играх, то почти наверняка пользователь в самом начале своей жизни в приложении или игре проходит обучающий этап, туториал. С ним тоже связано несколько интересных метрик.

Если мы говорим о retention, то существует и метрика tutorial retention. Неважно, сколько минут / часов / дней вы потратили на прохождение обучения в игре, но важно, чтобы вы вернулись в неё снова. По сути, метрика говорит о доле игроков, которые говорят игре: «Окей, я тебя понял, я прошел обучение и хочу узнать, тяжело ли мне будет в бою».

Значений для бенчмарков для этой метрики мы не дадим, она крайне зависима от жанра. Однако эта метрика прекрасно подходит для измерения эффективности новых версий в игре, особенно в случае, если вы меняете туториал. В идеале от версии к версии её значение должно расти.

Конверсия туториала, то есть доля тех, кто прошёл туториал от начала до конца. Важная метрика, которая говорит и о понятности вашего туториала, и вообще о его проходимости (с точки зрения сложности и временных затрат). Обычно, анализируя эту метрику, ориентируются на 70-80%, но опять же всё сильно зависит от жанра и сложности игры.

Метрика «Tutorial conversion» реализована в devtodev: можно рассчитывать её для любого сегмента пользователей за любой период времени.

Также отдельно стоит выделить долю тех, кто отказался (skip rate) от прохождения туториала (у вас ведь есть кнопка «Skip»?). И не всегда высокое значение этой метрики является тревожным сигналом. В нашей практике встречались случаи, когда в игре происходило значительное изменение, которое возвращало в игру многих опытных игроков, и разумеется они не собирались проходить туториал заново.

Отчёт «Tutorial dynamics» показывает, как быстро и как успешно игроки справляются с обучающим этапом в игре.

Итак, игрок может 1) отказаться от прохождения обучения 2) пройти его 3) начать, но не закончить. Для отслеживания таких игроков мы рекомендуем использовать воронку туториала, которая позволит увидеть, где и в каком количестве происходит отвал игроков. В devtodev можно выделить до 120 шагов в воронке туториала, и этого более чем достаточно для максимально детального анализа узких мест в процессе обучения.

В отчёте «Tutorial steps» в devtodev можно выделить до 120 шагов и тем самым очень точно находить места отвала пользователей во время прохождения обучения.

Последняя метрика туториала, о которой мы расскажем — это скорость его прохождения. Стоит иметь в виду: всегда есть игроки, которые будут проходить туториал значительно дольше, чем вы предполагаете: неделю, две недели, месяц. И эти игроки сильно и несправедливо повысят бы значение, если мы будем брать среднее. Поэтому мы рекомендуем использовать медиану.

Неправильно было бы утверждать, что чем быстрее игрок проходит туториал, тем лучше. Однако эта метрика хороша в динамике при изменении от версии к версии: вы видите, как игроки реагируют на внесённые вами корректировки. А ещё лучше, если вы рассматриваете скорость прохождения туториала в паре с его конверсией.

После прохождения обучения игрок всецело поглощён игрой, и универсальные метрики дальнейшего поведения выделить будет сложно. Однако в большинстве игр существует понятие уровня (либо уровня игрока, либо уровня в игре), поэтому мы (и, например Elson Niel Dagondon, основатель Anino Games в своём блоге) выделяем такую метрику, как доля игроков, дошедших до уровня N. Это полезная метрика, позволяющая отследить поведение игрока на начальных этапах игры, найти его. А дальше можно либо строить графики по уровням и находить узкие места (сложные уровни), либо стимулировать удержание игроков таргетированными предложениями, либо отсылать игрокам push-уведомления с подсказками, либо делать всё вышеперечисленное сразу.

Анализируя трафик в devtodev, вы можете рассчитать долю пользователей, дошедших до уровня X, а также другие полезные метрики.

Метрики первой недели

Все вышеупомянутые метрики хорошо годятся для замеров в игре буквально в первый день после запуска игры или её новой версии.

Однако некоторым метрикам требуется чуть дольше времени, чтобы «созреть». И здесь мы говорим в первую очередь о монетизационных метриках.

Многие на этом этапе используют стандартную метрику ARPU (ARPDAU), однако мы считаем это ошибкой.

Дело в том, что ARPU считается как доход, поделённый на аудиторию. А на начальных этапах структура аудитории очень сильно изменяется от одного дня к другому: допустим, сегодня вы налили трафик, и 80% вашей дневной аудитории — это новички. А через неделю ситуация может измениться, и аудитория может состоять уже из относительно опытных (пусть и с недельным стажем) игроков. А ARPDAU за оба дня считается по одной и той же формуле и даёт совершенно разные значения.

Мы рекомендуем использовать такую метрику, как накопительный ARPU за N дней.

Допустим, 1 февраля вы налили трафик. Зафиксируйте эту дату и замеряйте, сколько денег приносят игроки за свой первый день / за свои первые два дня / за свою первую неделю в игре в перерасчёте на общее число игроков, зарегистрированных 1 февраля.

Эта метрика обычно изменяется по логарифмической кривой: поначалу растёт быстро, затем всё медленнее. И она отлично подходит для измерения монетизационных изменений в игре, т.к. она показывает качество аудитории, её монетизационный потенциал.

В devtodev можно рассчитать, сколько денег приносит пользователь в первые дни пребывания в проекте, а также спрогнозировать, сколько он принесёт за всё время.

Кстати, именно эта метрика при устремлении числа N к бесконечности и превратится в LTV, но это уже долгая история.

Ещё одной метрикой монетизационного потенциала аудитории является конверсия в первый платёж. Она также может быть посчитана достаточно быстро, но не в течение первого дня, а в течение первой недели. Она показывает готовность игроков платить и в идеале должна расти от версии к версии.

Отчёт «Period until payments» показывает, на какой день и на каком уровне игроки совершают свои первые, вторые, третьи платежи в проекте.

Также по истечении недели вы можете замерить и 7-days retention, т.е. долю игроков вернувшихся в игру через семь дней после своего первого визита. Это игроки, которые уже наверняка прошли туториал, ознакомились с игрой и начали свои игровые циклы. От того, насколько удачно эти циклы реализованы, и зависит значение этой метрики. В магической формуле «40-20-10» она находится посередине, то есть среднее значение семидневного удержания для хороших игр составляет 20%.

Наконец, вернёмся к тому, с чего мы начали. Итак, мы налили трафик в игру, находящуюся на soft launch. Успех игры во многом зависит от того, насколько она виральна, т.е. насколько игроки склонны делиться информацией об игре со своими друзьями. По итогу недели уже можно попробовать замерить этот k-фактор (показатель виральности игры), сопоставив количество платных и бесплатных игроков за период. И чем дольше период, тем справедливее значение k-фактора. Поэтому считать его за каждый день неправильно — слишком велика погрешность. А за неделю посчитать уже можно.

Допустим, за первую неделю вы купили 500 установок, и ещё 300 игроков пришли по органическим каналам. Отлично! На одну платную установку у вас приходится 0.6 органической.

В дальнейшем, при расчёте k-фактора за месяц и более лучше делить количество органических установок не на количество платных, а на аудиторию за предыдущий период.

Скажем, в январе ваша месячная аудитория (MAU) составляла 1000 человек, а в феврале к вам пришло 400 новых пользователей. K-фактор в этом случае составляет 0.4, то есть условно можно сказать, что каждый игрок, активный в январе, к февралю привёл в игру по 0.4 своего друга.

Все описанные выше метрики мы предлагаем использовать для измерения качества игры в начальный период после её запуска, при выходе на soft launch или просто при каждом новом апдейте. Однако вы всегда вольны добавить к этому перечню ещё и свои метрики, ведь всё равно лучше вас вашу игру не знает никто.