Как два вопроса могут изменить рост нашего продукта

В Poncho мы помешаны на данных. Не только данных о погоде, но и на внутренних показателях вовлечения, производительности и роста. Мы сконцентрированы на сессиях, ежедневному удержании и потере пользователей. Когда мы смотрим на эти показатели для каждой платформы или для каждой группы пользователей, мы можем сказать, насколько эффективен наш продукт.

Меньше вопросов

За прошедшие два месяца мы проводили A/B-тесты нового онбординга в наших ботах в Facebook Messenger, Kik и Viber. Онбординг в ботах несколько изменился, но в общем опыт не сильно изменился с момента нашего запуска на F8 в 2016.

Наш онбординг изначально состоял из GIF, вступительного сообщения и по меньшей мере пяти вопросов. Простые сообщения помогали большому количеству пользователей завершить опыт онбординга, но мы заметили, что многие пользователи пытались задавать собственные вопросы боту. Многие хотели сразу начать общаться с Poncho. И для большого количества пользователей английский язык не был родным, что вело к высокому количеству отказов.

Нам нужно было обновить онбординг, чтобы сократить количество сложностей у пользователей. Мы приняли радикальное решение: нам нужно задавать только два вопроса: 1) местоположение пользователей, 2) хотят ли они кастомизировать свой опыт.

Новый пользователь начинает с настроек по умолчанию: утренний прогноз в 8:00, вечерний прогноз в 18:00, формат температуры для локации пользователя, предупреждения об опасных погодных условиях и так далее. Мы решили задавать эти вопросы только в разделе кастомизации, а также показывать примеры этих уведомлений.

Результаты этой гипотезы превзошли наши ожидания.

Статистика показала прирост в 20 процентных пунктов в удержании на 7 день после двух месяцев тестирования и улучшений.

В декабре 2017 показатель удержания на 7 день показывал 60%, а с новым онбордингом он взлетел до 80%. Наш показатель завершения онбординга сейчас составляет более 75%, а количество уникальных сессий в день продолжает расти.

Наше желание улучшений и цель — создать простой и информативный опыт онбординга — привели нас к попытке протестировать нечто иное. Результаты показывают, что мы улучшили уже хороший продукт при помощи лучшего донесения информации о том, кто такой Poncho.

Обучение на тестировании

Наш существующий онбординг из двух вопросов не совсем похож на тот,что мы начали тестировать в декабре. Последние два месяца мы усердно переписывали контент, тестировали изменения, устраняли проблемные точки и изучали пользователей.

Poncho представляется на родном языке пользователя и на английском.

Вот один из примеров проблемы общения с пользователями, родной язык которых отличается от английского. Онбординг из двух вопросов на самом деле включал три вопроса для людей из не англоязычных стран. Мы показывали им приветственное сообщение на родном языке и сообщение о том, что Poncho доступен только на английском.

Изначально мы спрашивали пользователей, хотят ли они продолжить на английском, не подумав, что этот вопрос может быть сложным для многих людей. Они могут задуматься о своей способности эффективно общаться с человеком или ботом.

Устранение вопроса и изменение приветственных сообщений на более дружелюбный тон помогло нам повысить процент завершения онбординга. В целом мы узнали, что нам стоит больше обращать внимание на то, как мы задаем вопросы.

Также мы узнали, насколько сильно мы опираемся на визуальный аспект общения с пользователем. Нашим первым сообщением была гифка весом 1 МБ. Люди в развитых странах с хорошим Wi-Fi или сотовой сетью могут не заметить задержки, но на самом деле даже 1 МБ может стать проблемой для пользователей. Эту гифку нужно загрузить на платформу, скачать в приложение из системы и надеяться, что пользователь дождется загрузки и посмотрит несколько секунд анимации.

В качестве эксперимента мы заменили гифку на набор статичных изображений и рандомно выбирали одно, которое будет показано пользователю. Poncho здоровался с пользователем. На изображении был изображен телефон и элементы его жизни: зонт, погода, пицца и так далее. Эти картинки загружались быстрее и привлекали меньше внимания в сравнении с остальным контентом. Даже статичное изображение сразу же передавало ощущение живого персонажа.

Почему именно эти показатели?

Кто-то недавно спросил, почему мы так фокусируемся на удержании на 7 день и показателе сессий вместо удержания за неделю/месяц, времени сессии или длины разговора. Poncho — сервис для ежедневного пользования, который отправляет прогнозы погоды и другие оповещения. Мы знаем, что показатель отказов выше всего между днями 0 и 3. К седьмому дню пользователь привязывается к сервису, и мы видим небольшое снижение количества пользователей после седьмого дня. Стоит отметить, что важные для нас показатели могут быть не так важны для других ботов и приложений.

Что будет с Poncho дальше?

Наша команда работает над новым, полностью разговорным опытом для Slack. Мы планируем сделать Poncho лучшим виртуальным коллегой при помощи наших существующих функций и новых взаимодействий для рабочей обстановки.

Также мы проводим бета-тестирование Developer API для партнеров, желающих интегрировать Poncho в свои платформы и приложения. Больше информации доступно здесь.