A/B тестирование
А/B тестирование иконки, скриншотов и описания для App Store: что хорошо для одного — для другого плохо
Увеличение числа установок приложения после микро-теста впечатлило, и мы решили провести своё тестирование. Не так давно наша компания Incrdbl Mobile Entertainment разработала словесную игру «Слово за слово — игра с друзьями», на которой мы решили провести A/B тестирование.
Сегодня в магазинах мобильных приложений тысячи конкурирующих приложений, и каждое «бьётся» за свое место под солнцем. Утром ты в топе, а к вечеру уже в конце списка. Стремление разработчиков закрепить позицию понятно без слов, и здесь важны как и сама «начинка», так и «обертка». Второй компонент зачастую недооценивают. Но ведь у нас так принято: «Встречают по одежке, а провожают по уму».
Мы постоянно следим за тематическими исследованиями, и недавно нас заинтересовала статья «Как проводить A/B тестирование для описания приложений в AppStore и Google Play». Увеличение числа установок приложения после микро-теста впечатлило, и мы решили провести своё тестирование. Не так давно наша компания Incrdbl Mobile Entertainment разработала словесную игру «Слово за слово — игра с друзьями», на которой мы решили провести A/B тестирование.
Перед нами стояли вопросы: иконка, описание, скриншоты — а так ли они хороши, как мы думаем? Как их модификация или замена повлияет на установку приложения?
Первичная наша гипотеза: мы сделали правильный выбор, пользователям нравятся все метаданные.
А/B тестирование включало 4 основных шага:
- подготовка материалов для теста;
- создание лендингов для теста;
- организация трафика на лендинги;
- анализ результата.
Шаг № 1. Подготовка материалов для теста.
В начале июля мы начали готовить материалы для теста. Было решено протестировать по 4 варианта иконки, описания и скриншотов. Мы дополнили недостающие компоненты, стараясь сделать так, чтобы все они были разными.
Шаг № 2. Создание лендингов для теста.
Каждый лендинг представлял из себя страницу, имитирующую AppStore. Мы выделили 3 главных блока: иконка плюс кнопка «скачать», описание и скриншоты. Всего было сделано 12 страниц, и сделали мы их сами, не прибегая к конструкторам мобильных лендингов.
Лендинги для иконки имели следующую структуру: иконка, которая менялась, описание и скриншоты. Два последних компонента были неизменны. В остальных случаях по образу и подобию заменяли описание или скриншоты, в зависимости от того, что мы тестировали.
Чтобы собрать статистику для каждого лендинга, мы организовали счетчик, который отслеживал количество кликов по кнопке «Скачать».
Пример лендинга:
Шаг № 3. Организация трафика на лендинги.
При выборе рекламной площадки наш выбор пал на Google AdWords. Было решено привести на каждый лендинг 1000 пользователей. Мы создали 12 кампаний, все объявления и ключевые слова были одинаковыми, отличались только ссылки на нужный нам лендинг.
«Подводные камни» этого шага.
Этап модерации оказался не так прост, как может показаться на первый взгляд. После первой модерации все рекламные кампании были отвергнуты, страницы заблокированы и признаны дорвеями. Служба поддержи рекомендовала внести изменения и придать страницам «индивидуальность и неповторимость». На этом этапе также возник риск блокирования аккаунта.
Таким образом, мы вернулись к первому шагу. К каждому лендингу были добавлены отзывы, изменен внешний вид и кнопка «скачать» изменила свое местоположение.
Пример скорректированного лендинга: http://i1.wordbyword.me/.
После внесенных изменений мы заполнили стандартную форму, описали, что именно мы изменили, а также рассказали цель кампаний. И на следующий день все кампании были одобрены.
Шаг № 4. Анализ результата.
В августе мы получили результаты тестирования. И они были неутешительными.
По всем показателям мы использовали проигрышные варианты (изначальный вариант в AppStore — метаданные под номеров один).
Было принято решение выкатить новый билд, поменяв в нем «имидж»: использовать наиболее выигрышные по итогам тестирования иконку, описание и скриншоты.
До внесения изменений игра занимала следующие позиции:
- RU-Overall – 119 место;
- RU-Games — 43;
- RU-Puzzle- 10;
- RU-Word — 1.
После внесения изменений мы, естественно, ожидали повышения рейтинга, но были поражены результатами:
- RU-Overall – 530 место;
- RU-Games — 153;
- RU-Puzzle- 41;
- RU-Word — 5.
И показатели становились хуже! Конечно, мы вернулись к прежнему варианту.
Результат тестирования оказался для нас неожиданным, а последствия — шокирующими. Но негативный опыт — тоже опыт. В процессе анализа проведенного тестирования мы сделали вывод, что аудитория рекламной сети Google AdWords отличается от нашей целевой аудитории в AppStore, в отличие от приложения автора статьи, на которую мы опирались.
