Pandao — один из крупнейших интернет-магазинов, которые продают товары из Китая с доставкой в Россию. По данным пресс-службы Mail.Ru Group, во втором квартале 2018 года ежемесячная активная аудитория Pandao составляла 6 млн. человек и продолжала расти. Общее количество скачиваний мобильного приложения превысило 20 млн.
Есть множество сервисов электронной торговли, которые думают в одном направлении и выглядят похоже. Почему тогда одни достигают успеха, а другие — нет?
Придется сразу сообщить грустную для кого-то новость: нет никакой волшебной пилюли. Нет такого, что покрасишь в красный кнопку — и продажи взлетели. Всю магию делает непрерывное улучшение сервиса на основе аналитики. Только бесконечное улучшение, бесконечная проверка гипотез и повсеместная аналитика.
Вот как этот процесс организован у нас в Pandao.
С чего начинали, что изменилось за год
За год мы прошли серьезную эволюцию от сервиса-стартапа, где все было не совсем отработано и сыро, до серьезного игрока на рынке. Мы росли так быстро, что в какой-то момент не успевали масштабировать сервис: не хватало рук. Мы тестировали много изменений, но при этом избежали какого-то единовременного грандиозного редизайна. Это был интересный год.
В самом начале мы больше двигались интуитивно. Но мы быстро накопили данные, поняли, как выглядит наша аудитория, какие преимущества мы можем предложить и как улучшать сервис.
На старте нужно понять, что является основным преимуществом, и сконцентрироваться именно на нем. У каждого интернет-магазина плюс-минус одна цель — дать дешевый товар хорошего качества с хорошим сервисом. Эту задачу и нужно решать, — Глеб Бодячевский, дизайнер продукта.
Большинство функций Pandao были еще при запуске MVP. Со временем все эти функции просто тюнились: стали быстрее обрабатываться запросы пользователей, стали быстрее приходить товары, трекинг товаров в приложении стал лучше, а товары в каталоге стало найти проще благодаря усовершенствованным алгоритмам. Какие-то большие фичи надстраиваются над существующими и улучшают сложившийся процесс.
Например, вначале у нас была одна и та же выдача товаров для всех пользователей — простая сортировка по популярности. Сейчас выдача товаров на главной персонализированная. Наша аудитория поделена на большое число сегментов, и мы показываем разный набор товаров в зависимости от интересов пользователя.
Как исследуем аудиторию
Знание аудитории и сервис — решают. Когда проект только запускается, тебе нужно понять, какая аудитория у него будет. Чтобы развивать проект, нужно знать, как с этой аудиторией работать.
Первоначально мы пользовались данными смежных подразделений Mail.ru, которые аккумулируют данные из различных источников в обобщенном обезличенном виде. Потом, по мере набора базы, пришли к тому, что исследуем только поведение пользователей внутри нашего сервиса: чем они интересуются, что они ищут, как себя ведут.
На ранних этапах проектов советую собирать как можно больше данных. Никогда не знаешь, какая информация потребуется. Если забыл что-то потрекать, потом будет очень грустно от этого факта, — Влад Бреус, руководитель направления аналитики.
Наши метрики достаточно стандартные для e-commerce: конверсия сессии, средний чек, ретеншн пользователей на разные дни. Чтобы оценить долгосрочный эффект, используем именно ретеншн. Если грубо объяснять — это удержание, доля пользователей, которые возвращаются к нам по прошествии определённого периода времени. Часто бывает, что изменения не выстреливают в краткосрочном эффекте, но на долгой дистанции они выигрывают за счет пользовательского опыта. Такие штуки мы тоже стараемся оценивать.
Эволюция элементов интерфейса — карточка товара приложения год назад и сейчас
Можно понять, насколько приложение удобное. Мы сегментируем сессии и выявляем общие факторы у тех, которые привели к удовлетворительному или неудовлетворительному для нас результату. Бывает, что у всех неудачных сессий есть что-то общее — например, пользователи пытались воспользоваться каким-то общим элементом интерфейса, что-то пошло не так, и они ушли.
Если мы видим по конверсии, по переходам между экранами, что выросло число нерезультативных сессий — значит, мы сделали что-то неправильно и изменения надо откатить, так как пользователю стало сложнее. Мы все тестируем достаточно точечно, так что сразу понятно, что вызвало эффект.
Также смотрим за фидбеком в сторах, соцсетях, оттуда вытаскиваем какие-то точечные инсайты. Потом подтверждаем или опровергаем данными и тестируем.
Как используем аналитику в дизайне
Аналитика позволяет локализовать проблемные места и понять, в каком направлении двигаться. Мы садимся с командой дизайнеров и строим гипотезы: что можно улучшить. Потом выбираем приоритетные идеи, от которых ждем наибольшего эффекта. Всегда в голове вопрос: «Как это быстро протестить?», иначе разработка какой-то мелочи на полгода затянется.
Эволюция корзины покупок
Мы практически не проводим опросов и интервью, потому что не слишком доверяем такого рода методам анализа. Время от времени мы заказываем масштабные исследования у UX-лаборатории на большой выборке респондентов — только так результаты получаются репрезентативными. В остальное время проводим разве что коридорные тестирования для быстрого теста концепции: ходим с прототипами, спрашиваем мнение коллег.
Гораздо быстрее и надежнее собрать на любую гипотезу MVP и проверить числами, хорошо ли она сработает на контрольной группе пользователей. Например, когда тестировали новую сортировку отзывов, мы упростили логику функции и сэкономили время разработчиков. Сортировали отзывы не на всех товарах, а только на выборке из 100 лучших. Посмотрели, как это работает в реальных условиях, доработали и внедрили для всего каталога.
Проводим А/Б-тестирование на контрольных группах: сначала выкатываем новый дизайн для ограниченной аудитории, смотрим поведение и изменение наших основных метрик. Для тестирования собираем максимально сбалансированные равномерные группы пользователей, чтобы не было перекосов между тестовыми и контрольными группами, и мы могли делать достоверные выводы.
В финальную сборки приложений допускаем только уже проверенные идеи. Не бывало, чтобы мы что-то выкатили, а оно не пошло или случился какой-то факап.
Есть свои нюансы, когда выбираешь, за улучшение каких функций в первую очередь браться. Есть какая-то пользовательская воронка — шаги покупки. Ее улучшение больше всего влияет на коммерческие показатели и быстрее всего принесет результат. Улучшение каких-то других частей продукта не создаст прорыва, но скажется на общем удобстве, аккумулируется и даст рост спустя несколько итераций. Нельзя до бесконечности полировать карточку товара, нужно работать и над другими частями сервиса — каталогом, техподдержкой, чатом. Рост будет, если улучшать все в совокупности.
Где узнать об этом больше
Думаем, наш опыт будет полезен другим: поможет выбрать путь развития проектов на ранних этапах. На конференции по мобильной коммерции MCOM Moscow 2019 мы будем подробнее рассказывать об улучшении мобильного продукта на основе аналитики.
Наше выступление будет более полезно стартапам на начальном этапе развития, руководителям проектов и компаниям, которые готовятся запускать продажи через сайт или мобильные приложения. Тем, кто еще не со всем определился и не успел понаступать на различные грабли. Может, наш опыт поможет им избежать этих граблей, и они смогут быстрее развиваться.