Прошло 6 недель нашего челленджа по продвижению iOS-версии Babycare. У приложения 800 активных пользователей, 6,000 записей ежедневно (кормление, подгузник и т.п.). Пока это очень мало. Предыдущая гипотеза с уменьшением количества keywords в отдельно взятой стране (Испания) даёт положительные результаты, продолжаю наблюдать.
Почему я все ещё не побрил голову (и не посыпал её пеплом):
Наши разработчики всё сильнее углубляются в data science, строят модели, пытаются определить болезни младенца по цвету какашек *sarcasm*. Ещё одна группа разработчиков тестирует новые инструменты – с помощью React Native сделали «на коленке» прототип приложения для выбора имени ребёнка. Посмотреть на него и оставить хвалебные отзывы можно тут:
Я же сегодня расскажу про работу с метриками и сплит-тестирование.
Каждая важная метрика вашего продукта нуждается в постоянном мониторинге и улучшении. Процесс улучшения должен быть поступательным. Для каждой метрики у вас должен существовать набор гипотез, которые вы одну за другой проверяете. Давая еженедельно улучшение метрики на 5%, за год вы получите её рост в 12 раз.
Как проверить, что вы идёте в правильном направлении? Сравнить результаты эксперимента с эталонными, предыдущими значениями. Я применяю для этого следующие инструменты и подходы:
1. Внедрение изменений для части пользователей. Мы используем для этого optimizely.com. С помощью этого сервиса мы разбиваем пользователей на несколько групп и выдаём новую фичу только одной группе. В аналитических инструментах (Amplitude) все наши пользователи помечены – к какой группе они относятся в каждом из экспериментов. Поэтому каждую метрику мы можем рассматривать применительно к той или иной тестовой группе и сравнивать результаты экспериментов.
Одновременно у нас может проходить несколько экспериментов, например: разные варианты продающих текстов на paywall, разные цены и акции там же, разный набор экранов на онбординге и т.п.
2. Google Play Console позволяет проводить эксперименты со страницей приложения. У нас всегда все 5 слотов загружены тестами: иконки, обложки, скриншоты, подзаголовки и т.д. Например, ввиду национальных и расовых отличий нам приходится выставлять на обложку младенцев с разным цветом кожи, глаз и волос. И это реально приносит профит – до +30% конверсии в установку!
В App Store большинство этих экспериментов не перенести, кроме, разве что, иконки. Поэтому в iOS мы тестируем «на живую» – вносим изменения и в реальном времени смотрим за изменениями конверсий в установку.
Есть ещё вариант splitmetrics.com, но он подойдёт только тем, у кого есть бюджеты на большой трафик. Также быстро прикинуть изменения страницы приложения можно с помощью нового инструмента Appfollow.
3. Email и push-рассылки. Тестируем заголовки и тексты сообщений, разбиваем рассылку на две части и сравниваем итоговые результаты – открытия, переход и т.д. Здесь рост конверсии может быть в разы, если подобрать правильные слова.
Важные нюансы:
- Всё должно быть математически верно. Выборки для тестирования должны быть репрезентативные, достаточного размера и т.д. Придётся немного погрузиться в теорию матстатистики.
- Можно попасть в ловушку “локального максимума”. Это получается из-за того, что оптимизация метрик обычно ведётся по самому простому методу оптимизации – “градиентному спуску”. Это когда каждое поступательное движение ведёт вас к лучшему результату, но полученное в результате пиковое значение в итоге будет не самым лучшим (см. картинку). Простой выход – иногда добавлять в список crazy-гипотезы, реализующие подходы с совершенно другой стороны, но желательно подкреплённые кастдевом. Либо применять другие методы оптимизации, но это уже выходит за рамки нашего урока 😋
Получаю массу откликов на свои посты. Спасибо за каждый! Но мало кто пишет, о чем бы хотел узнать в следующей серии этого увлекательного (по крайней мере, для меня) челленджа. У вас есть возможность повлиять на мой план публикаций 😉 Пишите в комментариях.