Сохранение намерений: почему A/B-тесты не так эффективны, как кажутся

Когда +10% на самом не +10%

Давайте попробуем понять этот занятный стартап-опыт. Вы проводите эксперимент, и он дает вам +10% в вашей воронке конверсии. Ваши доходы, установки, что-либо еще должны увеличиться на 10%, верно?

Неверно.

Обычно ваши ключевые метрики увеличиваются совсем немного, а может и вовсе не вырастают.

Почему так? Давайте назовем это «Сохранением намерений».

Разница между пользователями с высоким и низким уровнем намерений

Из всех ваших пользователей, только некоторые имеют ясно выраженные намерения. Трудно улучшить эти намерения, упростив лишь пару шагов — это просто увеличит количество ваших пользователей с низким уровнем намерений. Изменения тактических вещей, таких как положение кнопок, оптимизация заголовков, удаление полей в формах — это здорово, но все это лишь опосредованно влияет на вашу главную цель.

Вот почему вы не можете добиться значительного улучшения с помощью A/B-тестов

Если вы работаете в компании, которая A/B-тестирует все, а затем объявляет о превосходных результатах — это, конечно, замечательно, но просто мысленно просуммируйте результаты всех этих A/B-тестов. А затем посмотрите на ваши ключевые показатели. Редко они коррелируют.

Самый очевидный способ проверить это — изменить что-то на входе в воронку, например, возможно, на лендинге, на который попадает новый пользователь, или в электронном письме, которое вовлекает пользователя. Вы можете видеть, что большие изменения наверху воронки «стекают» вниз неравномерно. Каждый шаг сжигает пользователей с низкими намерениями, которые постепенно исчезают.

Относитесь скептически к внутренним тестам и внешним кейсам

Если вы работаете в крупной компании, а другая команда публикует результаты теста, убедитесь, что вы соглашаетесь с фактической конечной метрикой, на которую вы пытаетесь повлиять — будь то доход, вовлеченные пользователи или что-то еще. Убедитесь, что вы всегда принимаете это в расчет.

Точно также скептически относитесь к сторонним компаниям, которых обещают увеличить ваш доход в X раз только за счет увеличения конверсии в рекламных объявлениях (или в чем-то еще). В этих вводящих в заблуждение тематических кейсах – которые часто представляют на конференциях – компании могут не только выбрать лучшие примеры, подчеркивающие их успех, но и метрики, на которые они оказали наибольшее влияние! Подходите осторожно к этому и не обманывайтесь.

Проследите рост до конечного показателя

Во-первых, поймите, что действительно блокирует ваших пользователей с высоким уровнем намерений. Это те, кто хотел бы пройти весь путь в воронке, но по каким-либо причинам не может этого сделать. Для Uber это были способы оплаты, качество приложения (особенно для Android!), восстановление забытого пароля и т.д. Если вы не можете оплатить поездку или не можете вернуться в свою учетную запись, то даже если вы используете приложение каждый день, вы можете переключиться на другое приложение, которое доставляет меньше неприятностей.

Кроме того, вы можете сосредоточиться на своих экспериментах. Очевидно, в конце концов, вы все-таки получаете чистую прибавку в конверсии. К низу воронки люди с низкими намерениями уже отпали. Посмотрите на обстановку вокруг нужного потока транзакций – например, для сайтов электронной торговли это может быть работа пользователя с корзиной, добавления информации о доставке, или процедура запроса инвойса для SaaS-сервиса. Подумайте о работе с высокими намерениями, например о том, что происходит, когда ваши преданные пользователи сталкиваются с пейволом или нехваткой кредитов/пространства/ресурсов и т.д. Все это можно оптимизировать, и это быстро улучшит ваши ключевые показатели.

Убедитесь, что ваш роадмап отражает реальность

Когда дело доходит до вашей продуктовой дорожной карты, то вы, конечно, можете провести мозговой штурм и найти кучу +10%, но вам нужно добавить коэффициент дисконтирования в таблицы, чтобы отразить реальное положение дел. Нельзя это просто транслировать на все результаты.

Когда вы сосредотачиваетесь на людях с низким уровнем намерений, вам нужно проявить творческий подход, чтобы они смогли сформулировать свои намерения. Такие вещи, как возможность попробовать продукт, завести друзей в нем — это все шаги «активации», которые генерируют намерение. Вот отличное место для начала — очень релевантная статья о том, как получить больше внимания пользователей от команды роста Dropbox.

Сохранение намерений

Многие из вас уже сталкивались с «сохранением намерений», но теперь у вас есть название для этого!

Это отражение того, что работа над ростом — это действительно совокупность психологии и data-driven продукта. Вы не можете просто внести изменения в  электронную таблицу и каскадировать это рост в одном месте на все остальные части модели.

Почему сосредоточение на привлечении пользователей убьет ваш мобильный стартап №1