Более 100 миллиардов версий сайта: как Booking.com проводит A/B-тесты

Как Booking.com проводит A/B-тесты — рассказ Дженни Женг из Taplytics.

Каждый год Google проводит конференцию по конверсии продаж в своей штаб-квартире региона EMEA в Дублине. Темой 2017 года стала “конверсия мобильных пользователей”, и среди всех презентаций особенно выделялись две: Стюарта Фрисби из Booking.com и Вани Млако из Transavia. Обе компании работают в сфере туризма и путешествий и подчеркивают важность тестирования в своих организациях.

Если это можно протестировать, тестируйте. Если же что-то нельзя протестировать, мы, скорее всего, не будем это делать. — Стюарт Фрисби

Во-первых, давайте посмотрим, как Booking.com выстраивает свою компанию вокруг A/B-тестирования. Их сайт является агрегатором, который связывает пользователей с отелями и гостиницами — в день на сайте резервируется более миллиона комнат. В основе пользовательского опыта Booking.com лежит персонализация, которая ведет к удержанию пользователя, и чтобы этого достичь, компания активно использует тестирование.

Важность тестирования

Оптимизация конверсии состоит в повышении числа посетителей сайта, сделавших покупку и ставших клиентами компании. A/B тестирование должно помочь создать лучшую версию продукта, которая будет специально подогнана под потребности и желания клиентов. Что привлекает вашего конечного покупателя и как оптимизировать приложение для большой группы людей?

Идите в направлении, которое добавит ценности в жизни ваших клиентов.

Booking.com проводит тестирования восемь лет. Изначально на рынке не было большого выбора инструментов, поэтому в компании создали их самостоятельно. После выделения средств и ресурсов для разработки своих процессов тестирования, они создали сильное in-house решение.

Согласно исследованию Evercore Group L.L.C., их “тестирование повысило конверсию до уровня в 2-3 раза выше, чем в среднем по индустрии”. Они постоянно проводят A/B-тесты и эксперименты как для улучшения производительности, так и для новых продуктов.

A/B-тесты: процесс

Процесс тестирования Booking.com зависит от того, есть ли у них ресурсы для проведения тестов внутри компании. В Booking.com поощряется выдвижение сотрудниками гипотез, основанных на существующих данных, которые нужно подтвердить или опровергнуть. При этом нужно отличать гипотезу от обычной идеи, потому что сотрудники должны быть “более привязаны к реальности бизнеса”. Как сказал Стюарт,

Люди с идеями — это художники, люди с гипотезами — дизайнеры.

После выдвижения гипотезы тест разбивается на небольшие эксперименты. Это сокращает риск и дает более надежные результаты из-за меньшего количества влияющих факторов. На фазе тестирования в любой момент времени проходит 1000 экспериментов. Только представьте это количество: существовало больше версий сайта Booking.com, чем когда-либо на свете жило людей.

A/B-тесты основываются на идее того, что вам нужно доверять своим инструментам… Вам нужно либо довериться тому, что у вас есть, либо поменять инструменты, либо создать свои собственные.

Многие компании часто интересуются: лучше создать собственную платформу для тестирования или довериться внешним ресурсам, например, Taplytics. Booking.com уникален благодаря своей бизнес-модели: им не нужно беспокоиться об управлении цепочками поставок или о поддержании собственного оборудования, поэтому они решили сделать необходимые инвестиции во внутреннее тестирование. Они были настроены взять на себя этот значительный проект, развить его внутри компании и пожертвовать на него необходимое время и усилия. Booking.com принял это решение 8 лет назад, и оно определенно окупилось.

При принятии решения важно оценить, есть ли у вашего бизнеса достаточное количество ресурсов для создания собственного программного обеспечения или стоит обратиться к кому-либо ещё для более быстрого результата.

Культура экспериментов

Создание образа мышления, ориентированного на A/B-тестирование, невозможно без поддержки и участия всей команды. Вклад сотрудников высоко ценится, как и прозрачный доступ к данным внутри компании.

Booking.com верит в “принципы, а не правила” и предлагает сотрудникам полную свободу в вопросах того, что и как тестировать. Они отбрасывают мнение самого высокооплачиваемого сотрудника для более демократичного принятия решений. В компании работает 75 фронтенд-команд, в каждой из которых работает дизайнер, что позволяет им работать над конкретными проблемами. Сотрудники также меняют команду каждые 10-12 месяцев, чтобы видеть компанию более целостно и развивать гибкое мышление.

Компания, которая понимает силу A/B-тестирования, хорошо подготовлена к будущему. Это применимо для всех индустрий: от спорта до онлайн-магазинов. Подход Booking.com к оптимизации может стать примером для многих компаний, использующих мобильные взаимодействия для определения пользовательского опыта.

Как сказал Стюарт Фрисби:

Выбросьте свой план. Доверяйте своим людям. Доверяйте своим инструментам. Доверяйте науке.