A/B-тестирование иконок: опыт DEVGAME

Компании DEVGAME, которая разрабатывает мобильные детские игры, рассказывает про свой опыт тестирования иконок для магазинов приложений.

Вы придумали креативную графику, написали интересное описание, обновили всё в приложении, а показатели падают? Без паники, не каждый креатив, даже на ваш взгляд идеальный, повысит конверсию, привлечёт больше пользователей и увеличит загрузки. То, что вы считаете лучшим вариантом, может не понравиться аудитории. Поэтому все идеи и гипотезы нужно проверять. Как? С помощью A/B-тестирования.

Название A/B-тестирования говорит само за себя — это эксперименты с графикой и текстом. Вы загружаете несколько креативов, выбираете % пользователей для каждого варианта и ждёте результаты. Если загрузок много, то хватает 10-14 дней, но иногда результат эксперимента становится очевидным и в первую неделю. Чтобы получить более точную картину, проводите не только A/B, но и B/A, A/B/B и прочие тесты. С помощью них вы сможете проверить достоверность первых результатов. И старайтесь во время эксперимента не менять в приложении, то, что повлияет на показатели. Так вы не сможете понять, что их улучшило или ухудшило — эксперимент или другие факторы.

Но не стоит доверять тестам на все 100%, обязательно анализируйте показатели до и после эксперимента. У нас были случаи, когда креатив показывал хорошие данные при тестировании, но после его применения показатели конверсии падали.

В Google Play можно провести тестирование бесплатно в Google Play Console, раздел “Эксперименты”, а вот в App Store такой возможности нет и нужно прибегать к сторонним сервисам. Если у вас нет возможности использовать сторонние сервисы для App Store, то можно запустить последовательный тест — обновляйте по очереди креативы и смотрите на показатели. Но такой вариант подойдёт если вы не боитесь ухудшить конверсию и в случае отрицательного результата всё быстро вернёте обратно.

Не советуем тестировать креативы для одной платформы и применять выигравший вариант для другой. В Google Play и App Store разная аудитория и отличается восприятие графики, удачный креатив для одной платформы может оказаться провальным для другой. Так, мы применили новую иконку для «Три Кота» в Google Play и решили заменить и в App Store, ведь она показала отличные результаты в тесте. В итоге показатели конверсии в AppStore начали падать:

Пришлось срочно пересобрать билд и возвращать прежнюю иконку.

Не забывайте обновлять старые проекты, вы можете привлечь новых пользователей и дать вторую жизнь приложению. Так, мы в старом проекте «Фиксики», после удачного эксперимента, обновили иконку и скриншоты и получили отличный рост показателей. Проект, к тому же, благодаря обновлению, попал в очень релевантную подборку и вот, что получилось с загрузками:

А вот случай с «Юху Доктор» — мы никогда не делали ставку на иконки со второстепенными персонажами считая, что всем интересен главный герой, но решили потестировать и их. В итоге это дало отличный результат, смотрите какой рост загрузок:

Но иногда приложение так приживается в сторе, что новые креативы проигрывают имеющимся. У нас было так с «Робокар Поли» — старая иконка никак не хотела проигрывать. Мы сделали около 15 новых, долго тестировали, но пришлось сдаться и оставить ту, что была.

Если ваше приложение локализовано, то обязательно подготавливайте креативы для локалей и тестируйте их. В разных странах культура и интересы различаются и то, что показало хорошие результаты в России, может быть невосприимчивым в другой стране.

Ну и, конечно, тестируйте праздничные креативы, об этом вы можете почитать в нашей статье «Праздничные обновления в играх». Иногда, кстати, праздничный креатив настолько нравится пользователям, что даже спустя пару недель после праздника выигрывает у обычного. У нас был такой случай — после удачного теста мы встроили новогоднюю иконку для «Три Кота», праздник прошёл, а по результатам эксперимента новая иконка всё ещё нравилась пользователям.

Что делать в такой ситуации — решать вам, можно оставить и праздничную иконку, но не забывайте следить за показателями.

Обязательно всё и всегда тестируйте, даже если вы уверены в новых креативах, пользователям может понравиться совершенно неочевидный вариант. Не забывайте, что тренды и вкусы аудитории постоянно меняются — если полгода назад было модно одно, то сегодня вы можете потерять установки и позиции из-за своей неактуальности. Эксперименты не отнимают много сил и времени, но зато правильные креативы дают хороший рост загрузок и конверсии и шанс попасть в подборку. И не бойтесь воплощать самые странные идеи — они тоже могут сработать.