19 инструментов для A/B тестирования мобильных приложений

Успешные разработчики мобильных приложений знают, что и как работает в их приложении. И один из способов, которым они узнают это – постоянные тесты и оптимизация. Независимо от того, есть у вас уже приложение или вы только готовитесь его выпустить, инструменты A/B-тестирования для мобильных приложений могут дать вам массу полезной информации для удержания и вовлечения ваших пользователей.

Будут ли ваши пользователи покупать больше, если кнопка «Купить» будет синей? Предпочитают ли они красный или зеленый фон? Вам нужен A/B тест, чтобы выяснить это.

Ради справедливости стоит отметить, что большинство из этих инструментов имеет схожий функционал. Так что, выбирайте подходящий вам по бюджету и устраивающий по набору функций.

Splitforce (бесплатный/платный) — Splitforce поможет вам протестировать все, что угодно, от цвета кнопок до игровой физики. Splitforce может отослать выигравший вариант в один клик, это ускоряет и упрощает улучшение приложения. Кроме того, Splitforce поддерживает локализации, его просто установить (копипаст кода и 5 минут на настройку). Поддерживает iOS, Android и Unity.

Airlock (бесплатный) – бесплатный open source инструмент для A/B тестирований в мобильных приложениях, разработанный Facebook. Прекрасный в теории, но разобраться в нем невозможно.

Amazon A/B Testing (бесплатный) – если вы хотите дешевый мобильный бэкенд с возможностью A/B тестирования. Похоже, инструмент рассчитан на тех, у кого много пользователей, но почему бы и небольшой команде не использовать его? В типичном стиле Amazon интерфейс лаконичен, но функционален. Доступен для iOS и Android.

Arise (бесплатный/платный) – весь стандартный набор функций, но с Arise вы сможете тестировать функции на отдельных группах пользователей. С другой стороны, во многом он рассчитан на программистов, то есть вы не сможете сделать некоторых вещей без пары строчек кода. Доступен для iOS, Android и Phonegap.

Clutch.io (бесплатный) – инструмент не обновлялся уже около года, но многие его используют для тестирования основных функций. Он open source, так что вы можете изменить его под свои нужды. Таким образом, если вам нужна дешевая, простая основа для собственных A/B тестов, попробуйте Clutch.io. Доступен для iOS и Android.

Optimimo (бесплатный/платный) – инструмент A/B тестирования со множеством полезных функций. Предлагает тепловые карты, навигационные потоки, исследования юзабилити, продвинутую систему фильтрации и статистику в реальном времени. Доступен только для Android.

Pathmapp (платный) – как и многие другие инструменты, Pathmapp поможет вам с изменением приложения в реальном времени. Для большинства задач вам понадобится кодинг. Как и инструмент Amazon, Pathmapp позволяет тестировать несколько вариантов, а не только два. Стоит отметить, что множество вариантов целесообразно исследовать только на большой группе людей, на небольшой группе пользователей исследование будет совершенно бессмысленно. Pathmapp доступен только для iOS.

Best.ly (платный) – еще одна платформа со стандартным набором функций. У Bestly есть аналитика, мультивариантные тесты и изменения в приложении в реальном времени. Позволяет развертывать изменения только для определенной группы пользователей. Доступен для iOS и Android.

Kii (бесплатный/платный) — это, скорее, полный набор инструментов для разработчиков, а не просто система A/B тестирования. В него входит мобильный бэкенд, инструменты геолокации, аналитика. Тем не менее, платформа для тестов вполне конкурентоспособна, у нее есть все необходимые функции плюс отличная опция распространения оптимальной версии вашего приложения в один клик. Доступен для iOS, Android и Unity.

Switchboard (бесплатно) – еще один бесплатный и открытый инструмент для мобильного A/B тестирования. Вы можете сегментировать пользователей по UDID и все еще может работать у пользователей, когда у них нет интернета. Как Clutch.io, Switchboard давно не обновлялся, но все еще отлично работает на iOS и Android.

Abba (бесплатно) – открытый и супер-простой многовариантный тест. Основан и работает на Javascript и требует собственный сервер для тестов и сбора аналитики. Так что, область его применения довольно узка.

Hercules (бесплатный) – простой и рассчитанный на обычных пользователей инструмент тестирования. Имеет drag-and-drop режим для создания тестов и пока находится в стадии открытой беты. Доступен для iOS.

Leanplum (бесплатный/платный) – выглядит, как мечта мобильного маркетолога. Есть фильтры, сегментация, прекрасная панель управления со всей возможной аналитикой. К тому же он, по большей части, оснащается WYSIWYG-редакторами, что идеально подходит для команд с отдельными маркетинговыми менеджерами, которые не знают программирования и которым нужен быстрый результат. Доступен на OS, Android, Unity, HTML 5 и даже в виде REST API.

Taplytics (бесплатный/платный) – инструмент для «живых» изменения в приложениях и быстрых итераций. С прекрасной документацией, но, похоже, инструмент, в котором трудно разобраться. Доступен только для iOS.

Apptimize (бесплатный/платный) – как и Taplytics, Apptimize позволяет в реальном времени менять ваше приложение. Apptimize позволяет развертывать новые функции лишь для определенных пользователей, что достаточно полезно при тестировании того, что хотят пользователи, или разных «денежных» вопросов. В работе с Apptimize также требуется знание основ программирования, собственно, даже в описании написано: «если вы можете написать это, вы сможете и протестировать». Работает на iOS и Android.

Vessel (платный) – A/B инструмент с изменением приложения в реальном времени и такими же отчетами, которые быстро помогают вам принимать решения. Среди дополнительных возможностей Vessel отслеживание прибыли, воронки и отслеживание сессий для маркетологов и менеджеров. Доступно на iOS, Android, Windows, HTML 5, Phonegap и Titanium.

Optimizely – один из наиболее известных инструментов A/B тестирования, но он до недавнего времени работал только для веб-сайтов. Сейчас в стадии бета платформа стала доступна и для iOS.

Fliptest.io – еще одна бета. Изменения в реальном времени в приложении и «дружелюбный» бэкенд, который могут использовать и не разработчики. Работает на iOS.

Liquid — и еще одна бета, предлагающая сегментацию, изменение приложений и аналитику.

Как же выбрать A/B тест для себя? Ориентируйтесь на простоту и удобство использования. Ответьте на вопросы:

1. Как просто инструмент устанавливается?

2. Как быстро можно запустить эксперимент?

3. Сколько функций будет доступно при вашем бюджете?

4. Какой инструмент даст наиболее аккуратные результаты?

5. Смогут ли его использовать не разработчики?

6. Как оказывается поддержка?

И после этого уже выбирайте тот, что подойдет вам. Если у вас есть другие примеры инструментов для A/B тестирования, вы можете добавить их тут.