Connect with us

Аналитика пользователей

25 метрик пользовательской лояльности: Часть 2

Пусть ваши NPS и ARPU растут, а виральный цикл и churn сокращаются, главное не перепутайте!

devtodev

Опубликовано

/

     
     

Аналитики devtodev продолжают обзор метрик пользовательской лояльности, который мы начали в прошлой статье

Понятие лояльности мы определили через лояльного пользователя. Кто он такой? Что он делает?

  • Он остаётся с продуктом на протяжении какого-то времени.
  • Лояльный пользователь платит. А если заплатил и остался лоялен, то скорее всего заплатит ещё.
  • Лояльный пользователь делится информацией о продукте, рассказывает о нём друзьям.
  • Лояльный пользователь даёт фидбек, честно рассказывая, что ему нравится, а что нет.

В предыдущей статье мы рассмотрели метрики удержания и монетизации, а сейчас настало время поговорить о метриках виральности, специфических метриках игровых проектах, а также индексе пользовательской лояльности и методах опросов пользователей.

Метрики виральности

Если проект достаточно вирален, то пользователи охотно делятся с друзьями информацией о нём, друзья в свою очередь приглашают ещё людей, и так далее. Таким образом, виральный проект способен захватить рынок достаточно быстро.

Показатель для измерения виральности как правило выделяется один – k-фактор, он заимствован из эпидемиологии.

Он показывает, сколько в среднем друзей приводит в проект один активный пользователь.

Существует несколько способов его расчёта, нам ближе всего следующая формула:

 k-фактор = (органические установки в период n+1) / (активные пользователи в период n)

Что такое период в этой формуле?

Это может быть неделя, месяц, год или любой другой произвольный период – договоритесь сами с собой и считайте его регулярно. Это не та метрика, которую используют для бенчмаркинга (потому что непонятно ни как его считали другие, ни за какой период производился расчёт), но k-фактор будет очень полезен, если отслеживать его в динамике и объяснять его рост и снижение.

Главное, что k-фактор должен быть больше, чем отток (churn). Если это так, то проект ожидает экспоненциальный рост. Если же k-фактор меньше оттока, то аудитория начнет постепенно таять. При сравнении с churn проверяйте, что показатели рассчитаны за один и тот же период!

Ещё иногда выделяют такую метрику, как виральный цикл (среднее время начиная от того, как вы пришли в проект, до того, как в проект пришел друг, которого вы позвали). Чем меньше виральный цикл, тем лучше. Пусть ваши пользователи делятся информацией о вашем проекте как можно скорее!

Специфические метрики игровых проектов

Рассмотрим ещё несколько метрик, специфических для игровых проектов. Как измерить лояльность в конкретной точке игры, на конкретном уровне? Существует несколько способов.

Во-первых, конечно, отвал на уровне. Если уровень игрокам не нравится или кажется слишком сложным – они покидают его. Ваша задача понять, что предшествовало уходу игрока, на каком уровне он был, сколько попыток пройти уровень он предпринял.

Во-вторых, ачивки. Ачивка – это вознаграждение игрока за определенное действие в игре. И правильно расставленные по уровням игры ачивки не только доставляют радость игрокам, но и позволяют аналитикам игры произвести правильные замеры: сколько пользователей дошло до определенного уровня и получило свою порцию эндорфинов.

В-третьих, звёзды, виртуальная валюта и любые другие численные показатели, сопутствующие прохождению уровня. Сами по себе эти показатели не будут для вас достаточными метриками, однако если рассматривать их вместе с отвалом или, допустим, ARPU уровня, то вы сможете лучше понять, почему пользователям так нравится (или не нравится) этот уровень.

У себя в devtodev мы реализовали отчёты, в которых можно замерить любые показатели прохождения уровня как в целом, так и в перерасчёте на успешную или неуспешную попытку.

В-четвёртых, FUUU-фактор. Большинство упоминаний этой метрики ссылается на выступление компании Wooga на конференции GDC в 2014 году, так что не исключено, что эту метрику придумали именно коллеги из Wooga, и она быстро обрела популярность.

FUUU-фактор = (количество попыток на прохождение уровня) / (количество попыток, когда уровень был почти пройден)

Допустим, потребовалось 100 попыток, чтобы пройти уровень, и лишь в 5 случаях вы были близки к победе. FUUU-фактор в этом случае будет равен 20, и Wooga считает, что это слишком большое значение. Согласно Wooga, те уровни, где FUUU-фактор выше 10, надо убирать из игры.

FUUU-фактор говорит о негативных эмоциях игрока, о том, как он рвёт на себе волосы.

Индекс пользовательской лояльности

Наконец, как ещё можно узнать о том, нравится пользователю продукт или нет?

Можно просто его спросить!

Наиболее популярным способом замера лояльности пользователей на основании опросов является Net Promoter Score (NPS) – индекс пользовательской лояльности. Он работает следующим образом:

  • вы просите пользователей оценить вероятность, с которой они поделятся информацией о вашем продукте со своими друзьями, от 0 до 10 (бьюсь об заклад, хотя бы один продукт вам задавал такой вопрос!);
  • рассчитываете долю (%) promoters – тех, кто поставил вам 9 или 10, а значит, очень доволен вашим продуктом;
  • рассчитываете долю (%) detractors – тех, кто поставил негативную оценку (6 и ниже);
  • вычитаете долю detractors из доли promoters и получаете Net Promoter Score.

Довольно простой и действенный метод, который применяют практически все. Давайте разберемся, столь ли он хорош?

Плюсы NPS:

  • его просто считать;
  • его понятно трактовать: NPS – это чистая (за вычетом detractors) доля тех пользователей, которые готовы быть виральными, а значит, это хороший показатель лояльности;
  • существует огромное количество бенчмарков по NPS в разрезе разных индустрий;
  • его легко измерять во времени и таким образом делать выводы о качественном изменении продукта;
  • он, как правило, коррелирует с ростом бизнеса.

Минусы NPS:

  • “рассказать друзьям” – это в данном случае не реальное действие, а просто мысленный эксперимент, проводимый пользователем по вашему запросу; далеко не каждый, кто поставил вам 9 или 10, тут же пойдет рассказывать о вашем продукте;
  • NPS – это показатель лояльности, а не денег, и его нужно рассматривать вместе с денежными показателями.

Может ли оказаться так, что NPS растёт, а деньги падают? Да, и у нас был такой кейс. Дело в том, что если вы замеряете NPS регулярно (скажем, раз в 2-3 месяца), то как правило на ваши опросы будут отвечать те, кто пришел в проект недавно, и опрос не успел им надоесть. С другой же стороны, во многих продуктах (в тех же f2p-играх) основная часть денег приносится “старичками” – пользователями, которые давно используют ваш продукт. Поэтому вполне может сложиться ситуация, когда новички, которым всё нравится, на вопрос об NPS отвечают положительно, в то время, как “старички”, знающие продукт давно и видящие его недостатки, перестают голосовать рублём.

  • простота расчётов ведёт к tunnel vision – узости взглядов и неправильной трактовке действительности.

Не забывайте, что NPS лучше всего использовать вместе с другими метриками!

Существуют также альтернативы NPS опросы пользователей со схожей методикой расчётов. Их самое важное отличие состоит в том, как сформулирован сам исходный запрос:

  • CSAT: Насколько вы довольны продуктом / услугой (сразу после окончания взаимодействия с компанией)?
  • CES: Согласны ли вы с высказыванием: «Компания дала мне возможность/помогла мне легко разрешить мою проблему»?
  • CLI:
    • Оцените вероятность того, что вы порекомендуете нас друзьям?
    • Оцените вероятность того, что вы купите у нас в будущем?
    • Оцените вероятность того, что вы попробуете другие наши продукты?

Не будем вдаваться в маркетинг и психологию, но поверьте, в интернете достаточно материалов по сравнению этих методов друг с другом.

Таким образом, за две статьи мы рассмотрели следующие виды метрик лояльности:

  • метрики удержания;
  • метрики монетизации;
  • метрики виральности;
  • специфические метрики игровых проектов;
  • NPS и другие методы опросов.

Получилось даже больше, чем заявленные в заголовке 25 метрик. Надеемся, что хотя бы несколько из названных показателей оказались для вас новыми и интересными.

Пусть ваши NPS и ARPU растут, а виральный цикл и churn сокращаются, главное не перепутайте!

Комментарии
Если вы нашли опечатку - выделите ее и нажмите Ctrl + Enter! Для связи с нами вы можете использовать info@apptractor.ru.
Advertisement
Click to comment

You must be logged in to post a comment Login

Leave a Reply

Аналитика пользователей

Готовы ли к сезону распродаж?

Как подготовиться к распродажам, полагаясь на данные прошлого года? Рассказывает Шани Розенфельдер — руководитель контент-отдела в компании AppsFlyer.

AppTractor

Опубликовано

/

Автор:

Готовы ли вы к сезону распродаж? Надеемся, что да, ведь, например, в США, по данным eMarketer, продажи могут вырасти аж на 16,6 процента из-за предновогодних скидок (и 3/5 от этих покупок будут сделаны с помощью смартфонов). Раз на карту поставлены большие деньги, готовиться просто необходимо.

Чтобы помочь вам, мы вытащили некоторые данные по тому же периоду в 2016 году, так как это один из самых действенных способов подготовиться к сезону распродаж. В целом, мы отсмотрели 95 миллионов установок 130 приложений для покупок, в которых было совершено около 22 миллионов внутренних покупок на общую сумму в 450 миллионов долларов.

У нас есть данные по:

  • Привлечению пользователей
  • Покупательской активности
  • Средней выручке с покупки
  • Долям пользователей, совершивших покупки

Поэтому перейдем к деталям:

1. Неорганические установки приложений и внутренние покупки

О чем нам говорит этот график по Android?

Пиковая неделя четвертого квартала — это ноябрьские распродажи. В недели Черной пятницы и Киберпонедельника, мы обнаружили 46-процентное повышение покупательной активности, в сравнении с октябрем (смотрим на внутренние покупки) и на 19% выше, чем в декабре (если вас интересует разбиение по конкретным дням — смотрите график выше)
Очевидно, что маркетологи решили масштабировать свои кампании перед Хеллоуином и продолжали вплоть до Рождественской недели. В целом, если мы сравним активность установок до Хеллоуина и после (до Рождественской недели), в последний период она выше на 18%.

Также обратите внимание на установки после Рождества: просто представьте, как множество пользователей устанавливают новые приложения на новые смартфоны, купленные или полученные в подарок. По факту, в первые недели января установок на 31% больше, даже в сравнении с самыми эффективными неделями ноября (Черной пятницей и Киберпонедельником).

Новогодние праздники тоже показали пик покупательской активности в первую неделю января — результаты почти такие же высокие, как в Киберпонедельник (всего на 3% ниже).

Давайте теперь рассмотрим iOS:

Рост покупательской активности достигает пика в Киберпонедельник, да такого, что в эти ноябрьские недели покупок на 70% больше, чем в октябре в целом, и на 31% больше, чем за декабрь.

Активность по привлечению пользователей значительно вырастает в течение 2 недель перед Черной Пятницей — она повышается на 44% в сравнении с предыдущими неделями четвертого квартала.

Мы также можем видеть прилив установок после Рождества (благодаря все тем же новым купленным в подарок смартфонам). Первая неделя января показывает результат по установкам на 33% выше, чем период перед Черной Пятницей.

Покупательская активность растет перед Рождеством, и в Новогодний сезон продажи растут на 26% в сравнении с Рождественской неделей и на 30% в сравнении с октябрем.

2. Пиковый период установок и внутренних покупок – сравненивам по дням

Если посмотреть на количество установок по дням, то можно заметить, что в Черную Пятницу покупок было на 3% больше, а установок на 16% больше, чем в Киберпонедельник. Можете сравнить с Днем благодарения, который вообще никаких результатов не показал.

На iOS же мы видим прорыв в Киберпонедельник по покупкам (на 9% выше, чем в Черную Пятницу), но «Пятница» показывает результат по установкам на 12% выше. День Благодарения — не лучше, чем на Android.

3. Органические установки в течение четвертого квартала

Результат по органическим установкам не сказать, что удивительный. Интересно лишь, что в пиковую неделю перед Черной пятницей приложения для покупок ставили чаще, чем в среднем по четвертому кварталу, на 25% с iOS и 16% c Android.

4. Средняя прибыль с покупки

Что касается прибыли, то здесь iOS обгоняет Android по среднему размеру покупки, равному 24.3$, что на 41% выше “андройдовских” 17,3$.

Конец ноября показал рост не только по объему покупательской активности, но и по количеству потраченных денег (пользователи iOS потратили на 58, а пользователи Android — на 66 процентов больше, чем в другие недели четвертого квартала).

Также мы можем видеть, что корзина пользователей iOS относительно неизменилась в течение всего периода (включая недели Черной Пятницы и Киберпонедельника), тогда как средняя трата на Android разнится от небольших трат в начале 4 квартала (на 46% ниже, чем в ноябре) до пика в декабре, перед Рождеством.

5. Доля пользователей, готовых платить

Мы хотели проверить связь между периодом, когда пользователи были привлечены, и их качествами, в частности, зависит ли их покупательская активность от их времени привлечения. Поэтому мы сосредоточились на 5 когортах пользователей: пользователи первой половины июля, первой половины ноября, пикового периода — второй половины ноября, Черной Пятницы и Киберпонедельника и первой половины января.

Июльская группа дана как нейтральная для сравнения с пиковыми показателями ноября и января.

Мы видим, что пользователи, установившие приложения прямо перед Черной Пятницей и Киберпонедельником с большей вероятностью покупали что-то в пиковые периоды (на 91% больше покупок, чем у июльских). Те же, что установили приложения в Черную Пятницу и Киберпонедельник на 42% реже делали покупки в этот день. А установившие приложения в начале января показывают высокую вероятность покупок в течение всего месяца.

Пик в середине ноября принес на 140% больше покупателей, чем Черная Пятница и Киберпонедельник.

Пользователи iOS, установившие приложения перед Черной Пятницей и Киберпонедельником, с большей вероятностью делали покупки в пиковый период (на 77% выше, чем установившие приложения в июле). Вероятность покупок у тех, кто установил такие приложения прям в день Черной Пятницы и Киберпонедельника, была ниже на 59%. Что же касается Android, пиковый период принес на 147% больше пользователей, готовых совершать покупки, чем Черная Пятница и Киберпонедельник.

Итак, что все это означает для маркетологов, запускающих кампании в это время?

1. Конец ноября — время бешеного шопинга. В это время люди покупают часто и тратят много. Чтобы использовать весь потенциал этих дней, необходимо:

  • Привлекать пользователей задолго до самого пикового периода. Чем больше у вас данных, тем лучше можно настроить сегментацию пользователей. Ведь это вдвойне окупится во время кампаний по повторному вовлечению (ретаргетинг, пуши, рассылки).
  • Привлечение пользователей прям перед распродажами. Пусть у вас будет не так много данных для тщательной сегментации, но наши данные показывают, что в это время у вас велики шансы найти именно тех пользователей, которые сами ищут, на что бы потратить деньги.
  • Привлечение пользователей во время распродаж. Может результат будет и ниже, чем в ноябре, но исходя из наших данных, он в среднем выше, чем в другие времена года.

2. Новогодние распродажи — не время опускать руки. Рост установок с новых телефонов и продолжающиеся скидки шепчут, что не стоит прерывать работу по привлечению пользователей или повторному их вовлечению. И это важно, несмотря на то, что средняя стоимость покупки в этот период ниже, чем в конце ноября

3. Всегда следите за ставками. Так как кампании по привлечению пользователей показывают высокие показатели, то и их стоимость будет расти. Но это оправдано, ведь прибыль в эти дни значительно выше. Главное, будьте начеку и будьте максимально проворным, чтобы максимизировать показатели ROI.

4. Используйте несколько медиа-источников для гибкости. Это даст вам пространство для маневров, своевременной оптимизации кампаний и позволит заплатить меньше при максимальном ROI. Увеличивая охват, вы увеличиваете шансы найти новых подходящих пользователей и повысить уровень конверсий. Главное, убедитесь, что ваши медиа-партнеры могут предоставить точный таргетинг, чтобы не навредить уровню конверсий.

5. Ну и наслаждайтесь моментом. И в январе вас будет ждать заслуженный отдых.

Источник: https://www.appsflyer.com/blog/2017-holiday-season-prep-data-learnings-from-q4-2016/

Комментарии
Продолжить чтение

Аналитика пользователей

Как выбрать правильные метрики для продукта

Анна Булдакова, продакт Intercom и ведущая канала No Flame No Game, разобрала популярную статью Кэрри Родден из Google и объяснила, как стоит подходить к продуктовым метрикам.

AppTractor

Опубликовано

/

Автор:

Какое-то время назад все активно начали делиться вот этой статьей от UX-исследователя в Google Ventures про то, как выбрать правильные UX метрики для продукта. Статья крутая, но после практического использования возникают вопросы: поэтому ловите вольный перевод (в кавычках) и мои комментарии к нему.

В процессе дизайна можно полагаться на пользовательские данные и на результаты экспериментов. Это то, что сейчас называется data-driven design, но я предпочитаю термин data-informed design — “рулит” все еще дизайнер, а не данные.

Чтобы это работало на практике, надо смотреть на правильные метрики. Базовые цифры по трафику (количество просмотров страницы или количество уникальных пользователей, к примеру) легко отслеживать; они дают неплохое понимание, как поживает ваш сайт; но часто они совершенно бесполезны для оценки UX-изменений. Все потому, что они слишком общие и напрямую не отражают качество продукта или цели проекта — на их основе сложно понять, что делать дальше.

Я работаю UX-исследователем в Google, и мы разработали несколько полезных фреймворков для определения и выбора метрик, отражающих:

  • качество user experience (HEART);
  • цели вашего продукта или проекта (Цели-Сигналы-Метрики).

Во-первых, да, data-informed. INFORMED by data, not driven. Сначала стратегия и цели, затем метрики. Сначала гипотеза и, опять же, цели, затем эксперимент. Накручивать циферки только ради циферок можно очень долго и очень успешно, только продукт от этого лучше не станет.

Во-вторых, да, на “базовые метрики” смотреть бесполезно. Ну поверьте, нет такой волшебной пилюли, которая работала бы для всех. Безусловно, у вашего продукта могут трекаться такие же метрики, как и других продуктов: те же DAU, Retention, ARPU и прочие. Но вот вопрос, какие из них будут для вас более важны, а какие — менее. Условно говоря, приложение, которое отправляет сигнал SOS в ближайшую службу спасения, вряд ли будет смотреть на Retention.

В-третьих, какая-то повальная путаница с тем, что считать метриками продукта, что — метриками проекта, а где вообще продакт маркетинг затесался. По сути все просто: вот у нас есть продукт, которым можно как-то пользоваться. То, что происходит до начала использования, относится к продакт-маркетингу; то, что происходит во время, к продукту. Проект (~фича) — это гипотеза внутри продукта; соответственно, на высоком уровне успех проекта определяется метриками продукта, но также имеет и собственные “технические” метрики, которые позволят понять, все ли работает хорошо, не сломалось ли чего.

И есть еще отдельная группа метрик для исследований (время выполнения заданий или как раз Task Success, о которой говорится в статье), которые позволяют сделать количественные выводы для usability тестов. Ну это так, для общей картины ;)

Возвращаясь к моей любимой медицинской аналогии:

  • Представьте, что вы пришли на прием ко врачу. А он такой померил у вас температуру, взял анализ крови, отправил на УЗИ, а потом говорит: ну да, температура у вас низковата, давайте я вам таблетки пропишу.
  • А потом оказалось, что просто градусник сломался, а у вас и не болело ничего.
  • Или болело колено, а вас лечат от низкой температуры — потому что ниже среднего по больнице, и вообще: сказали, что у всех надо мерить температуру, значит надо мерить!

Happiness — Счастье

Помогая гугловым командам с UX метриками, мы заметили, что наши предложения обычно попадают в какую-то из 5 категорий:

H — Happiness (Счастье). Измеряет отношение пользователя, часто через опросы. Примеры метрик: удовлетворение, воспринимаемая легкость использования и NPS.

Насколько все компании хотели бы улучшать счастье пользователя, настолько же они не знают, как его считать: эмоции — не так легко измеряемая штука, как DAU, например. Вопрос в том, нужно ли это на уровне продукта.

Я пользуюсь Spotify каждый день. Я счастливый пользователь? На мой взгляд, это такой же странный вопрос, как — вот вы пользуетесь молотком, вы счастливый пользователь молотка? Эмоции — это про бренд, про историю (которой, к слову, занимается маркетинг); продукт — про решение задачи, про ценность. Пользователи могут питать какие-то чувства к Яндексу или к Гуглу, но не к поисковому движку как таковому — тут у них сугубо рациональный подход.

Опять же, если мы разрабатываем фичу (это метрики проекта, упомянули их в предыдущем посте), то должны думать о метриках продукта — и тут тот же NPS, к примеру, совершенно бесполезен: замерить таким способом влияние отдельно взятой фичи практически невозможно.

Другое дело, если мы спросим: а извлекает ли юзер какую-то пользу из нашего продукта? Концепт ценности (vs счастья) также отлично подходит и для приоритезации новых фич.

Как определить ценность? Идите от обратного: спросите себя — если мы представим идеального пользователя, который получает максимальную пользу от продукта, что он делает?

  • Если это Spotify, возможно, он слушает музыку > n минут в день.
  • Если это Uber, возможно, он делает n-ное количество поездок за определенный период.
  • Если это Slack, возможно, он пригласил n коллег в чат.

По сути, это называется “активация”: первый момент во время использования продукта, когда пользователь извлекает ценность. Важно, что пользователь вполне может и не осознать этот момент

И последнее, что я повторяю из раза в раз: начинать надо не с метрики, а с цели, а в данном контексте — с определения пользы. Если Uber определяет свою пользу в том, чтобы сделать более удобную и сравнимую по цене замену общественному транспорту, это одно. Если они думают про сокращение использования автомобилей на человека, это другое. И, к слову, польза Uber для водителя и для пассажира будет звучать по-разному.

Engagement — Вовлеченность

E — Engagement (Вовлеченность): уровень вовлечённости пользователя, часто измеряется через поведенческие прокси, такие как частота, интенсивность и глубина взаимодействия за какой-то период. Примеры могут включать количество посещений на пользователя за неделю или количество фото, которые пользователь загружает ежедневно.

По сути, engagement — это логическое продолжение активации (о которой мы говорили в прошлый раз): ответ на вопрос, а продолжают ли пользователи получать пользу от продукта? Условно говоря, пользователь Slack пригласил 10 коллег, что подскажет нам, что они все заинтересованы в продукте?

Например, вот такие engagement метрики:

  • количество времени, проведённое в чате, на пользователя
  • количество активных каналов
  • количество директ-сообщений на пользователя

и так далее.

Engagement метрики прекрасны и для определения успешности проекта:

  • в случае customer-facing фич engagement должен остаться на том же уровне (при условии улучшения других метрик) или вырасти
  • в случае инфраструктурных изменений engagement должен остаться на том же уровне.

В чем отличие между активацией и вовлеченностью?

Активация — это конкретный момент в «путешествии» пользователя. Соответственно, нас интересует количество людей, дошедших до этой точки, и как это количество можно увеличить. Вот мы упомянули в качестве активации для Spotify n минут прослушивания музыки в день. Как это определяется? Spotify выбрал пользователей, которые успешны в их понимании: например, они платящие, они пользуются продуктом уже несколько лет, они оставляют высокие оценки в сторе. Если сравнить их с неуспешными пользователями, было ли какое-то действие, которое они совершили? И, соответственно, дальше — если мы подведём неуспешных пользователей к этому действию, станут ли они успешными?

Вовлечённость — это, собственно, само путешествие; флажки, которые показывают, насколько хорошо функционирует продукт.

Adoption — Принятие

Adoption (Принятие): новые пользователи продукта или фичи. Например: количество аккаунтов, созданных за последние 7 дней, или процент пользователей Gmail, которые используют лейблы.

А вот здесь надо снова вернуться к метрикам маркетинга vs метрики продукта. Adoption как раз прекрасный пример метрики, которая где-то на стыке.

Может ли улучшение качества продукта или новая крутая фича увеличить количество новых пользователей? Может. Может ли рекламная кампания или пост в блоге увеличить количество регистраций? Может.

В моей практике второе случалось чаще, чем первое; вполне возможно, что из-за специфики продуктов, с которыми я работала. Ещё один немаловажный фактор, почему я все же больше отношу эту метрику к маркетингу, — это пользовательская привычка. Очень небольшое количество людей регулярно проверяет, как там обновился ваш продукт, особенно если они уже используют конкурента и создали вокруг него какой-то процесс (например, когда я иду на работу, слушаю подкасты в Spotify) или, что ещё хуже для вас, добавили свою персональную информацию (например, когда я делаю фото на телефон, загружаю их в iCloud). Чем дольше пользователь использует продукт, тем, вероятно, выше для него будет цена переключения. Таким образом, чтобы заставить пользователя перейти к вам, нужно либо чтобы у конкурента был видимый недостаток, которого у вас нет, либо у вас должна быть киллер-фича, которой нет у конкурента. В обоих случаях это предполагает два варианта:

  1. Пользователю вроде как все нравится, потому что он не знает, как может быть лучше — маркетинг его информирует об альтернативах.
  2. Пользователь недоволен текущим решением и пользуется им, потому что не видит/не нашел лучших вариантов — опять же, нужно ему о них рассказать с помощью маркетинговых инструментов.

Безусловно, есть ещё фактор сарафанного радио, когда пользователи в восторге от продукта и делятся рекомендациями с друзьями. Но, на мой взгляд, с точки зрения продукта это лучше отражается тремя другими метриками:

  • activation (осознал ли пользователь ценность продукта)
  • engagement (продолжает ли он получать пользу)
  • retention.

Retention — Удержание

Retention (Удержание): процент пользователей, возвращающихся в продукт. Например: как много активных пользователей в выбранный момент все ещё пользуются продуктом в более поздний момент? Возможно, вам даже больше будет интересна обратная метрика, где удержать пользователей не удалось, — отток или churn.

Тут мало что можно добавить: retention для большей части сервисов — одна из важнейших продуктовых метрик. В моей практике retention + engagement определяли успех продукта или фичи и наиболее точно соответствовали ценности, которую получает пользователь.

Churn не работает на уровне фичи, но, наверное, будет самым громким звоночком, что с продуктом что-то не так. Понятно, что будет часть пользователей, которая будет утекать по естественным причинам; нам же наиболее интересны прошедшие активацию пользователи, которые решили уйти.

Task success — Успех в выполнении задания

Task success (Успех в выполнении задания): включает в себя традиционные поведенческие UX метрики, например, оперативность (пример — время на выполнение задания), эффективность (процент выполненных заданий) и процент ошибок. Эта категория наиболее применима к части продукта, ориентированной на выполнение задачи: например, поиск или процесс загрузки.

Пример метрики, которая отлично работает для UX-исследований, но, на мой взгляд, не особо хорошо подходит в качестве продуктовой. Перечисленные выше примеры, скорее, относятся к техническим метрикам или метрикам “здоровья продукта”, и это совсем другая категория.

Возьмем, к примеру, яндексовый поиск. Да, можно улучшить время ответа, но при этом найти трешовые или нерелевантные результаты, которые не принесут пользы юзеру. Из этого следуют 2 вывода:

  • технические метрики на уровне продукта или сервиса надо рассматривать с учетом пользовательских метрик
  • технические метрики показывают эффективность продукта, но далеко не всегда — его ценность и качество.

За технические метрики обычно отвечает не PM, а разработчики или технический менеджер. Улучшают их чаще всего по одной из двух причин:

  1. Есть определенный стандарт в индустрии, которого надо достичь, чтобы быть конкурентоспособным. Например, если вы делаете поиск, ваше время ответа ну никак не может быть 1 минута.
  2. Текущие лимиты ограничивают возможности компании для роста.

Следующий фрагмент будет без моих комментариев; но, думаю, вы и так поймете, где там противоречащие друг другу куски ;)

Эти метрики можно применять на разных уровнях — от всего продукта до конкретной фичи. Например, в Gmail мы можем быть заинтересованы как в adoption продукта в целом, так и в adoption ключевых фич (например, лейблов или архивирования).

Нас часто спрашивают: “Зачем измерять adoption или retention, когда ты просто можешь посчитать уникальных пользователей?”. Безусловно, важно понимать, сколько пользователей к вам приходит за определенный период (например, активные пользователи за 7 дней). Но если вы также измеряете adoption и retention, вы точно отделите новых пользователей от возвращающихся и сможете быстро понять, растет ли ваша аудитория. Это особенно важно для новых продуктов или фич, или для редизайна.

Необязательно создавать метрики во всех из этих категорий — вы можете выбрать только те, которые наиболее важны для вашего проекта. Фреймворк HEART может помочь вам решить, какая из категорий вам нужна. Например, в бизнес-продуктах, которыми пользователи, возможно, пользуются ежедневно и где они интегрированы в рабочий процесс, может быть бессмысленно мерять вовлеченность, зато может быть интереснее сосредоточиться на счастье пользователя или на task success. Как бы то ни было, может быть полезно учитывать engagement на уровне определенных фич, как индикатор их полезности.

Мы применяли фреймворк HEART к широкому спектру проектов в Google и считаем, что это очень полезный инструмент, чтобы направить обсуждение с командой в нужное русло. Акроним хорошо запоминается; его можно использовать для фасилитации встреч, просто обозначая категории на доске.

Цели — Сигналы — Метрики

Итак, как же перейти от HEART категорий к метрикам, которые вы можете внедрить и трекать? К сожалению, нет готового HEART дашборда, который магически за вас это сделает, — наиболее вероятно, что самые полезные метрики будут специфичны для вашего продукта или проекта.

Цели

Порой хочется начать думать о метриках, просто составляя длинный лист, но он быстро может стать громоздким и неудобным в приоритезации. В идеале вам нужен небольшой сет ключевых метрик, которые важны для всех членов команды. Чтобы понять, что это за метрики, надо начать на уровень выше: определить цели, а потом уже выбрать метрики, которые помогут вам измерять прогресс по выполнению этих целей.

Порой может быть удивительно сложно сформулировать цели проекта, и в этот момент полезно использовать для дискуссии категории метрик HEART. В YouTube, к примеру, одна из наиболее важных целей относится к категории Engagement: мы хотим, чтобы пользователи наслаждались видео, которые они смотрят, и продолжали открывать больше видео и каналов, которые они хотели бы посмотреть. У вас могут быть разные цели для определенного проекта или фичи — и для продукта в целом. Для YouTube Поиска ключевая цель относится к Task Success категории: когда пользователь вводит запрос, мы хотим, чтобы он быстро и легко нашел наиболее релевантные видео или каналы.

Частая ловушка — определять цели в рамках ваших существующих метрик: например, “наша цель увеличить трафик на сайт”. Да, каждый хочет это сделать, но как UX-улучшения помогут вам в этом? Хотите ли вы увеличить вовлеченность существующих пользователей или привлечь новых?

Вы можете не осознавать, что у разных членов вашей команды могут быть разные представления о целях вашего проекта. Этот процесс предоставляет возможность достичь соглашения о том, в каком направлении вы движетесь.

Сигналы

Следующий шаг — привязать цели к более низкоуровневым сигналам. Как успех или провал в достижении целей может проявить себя в пользовательском поведении или отношении? Например, сигналом вовлеченности для YouTube может быть количество видео, просмотренных пользователем, а еще лучше — время, потраченное на просмотр видео. Сигналом провала в Task Sucess категории для YouTube Search может быть запрос, по которому не было ни одного клика на результаты.

Обычно есть большое количество потенциально полезных сигналов для конкретной цели. Как только вы набросаете какое-то количество “кандидатов”, остановитесь и проведите небольшое исследование.

Во-первых, насколько легко трекать каждый сигнал? Будут ли логироваться нужные действия в продукте, или можно ли это сделать? Можете ли вы выкатывать опросы на постоянной основе? Для Task Success метрик одна из опций — использовать задания в benchmarking исследовании, которые можно проводить с большим количеством участников.

Во-вторых, выбирайте сигналы, которые будут чувствительны к изменениям в вашем дизайне. Если вы уже собираете потенциально полезные сигналы, вы можете проанализировать имеющиеся данные и попытаться понять, какие сигналы будут точнее всего предсказывать достижение соответствующей цели.

Метрики

Сигналы, которые вы выбрали, можно уточнить и превратить в метрики, которые вы будете трекать в динамике или использовать для сравнения в экспериментах. В примере с вовлеченностью в YouTube мы могли бы внедрить сигнал “как долго пользователи смотрят видео” как метрику “среднее количество минут, потраченное на просмотр видео, на пользователя в день”.

Специфика сильно зависит от вашей инфраструктуры. Но, как и на предыдущем шаге, есть множество метрик, которые можно вывести из определенного сигнала, — вам надо будет проанализировать данные и решить, какие будут для вас наиболее полезны. Возможно, вам также надо будет нормализовать сырые числа и использовать среднее или проценты, чтобы сделать их более “говорящими”.

Процесс Цели-Сигналы-Метрики должен привести к приоритезации метрик — важно трекать метрики, которые относятся к вашим ключевым целям. Не добавляйте просто “интересные цифры” в ваш список. Помогут ли они вам принять решение? Нужно ли вам трекать их в динамике, или достаточно одного измерения? Фокусируйтесь на метриках, которые относятся к вашим целям, чтобы избежать затрат на их внедрение и засорения дашборда.

Если вы хотите, чтобы ваш продуктовый дизайн информировался данными, подумайте над метриками, которые отражают качество user experience, и свяжите их с вашими основными целями.

Джон Белл (Twitter): будущее дизайна уже наступило, и оно связано с данными

Комментарии
Продолжить чтение

Аналитика пользователей

Tapjoy исследовал поведение игроков в новогодние праздники

Tapjoy в новом отчете описывает то, как пользователи играют во время новогодних каникул.

Леонид Боголюбов

Опубликовано

/

Ключевые факты:

  • 80% мобильных игроков играют больше. 30% говорит о 3 и более дополнительных часах, 11% о 5 и более.
  • 72% скачивает новые игры. У 31% это 2-4 новые игры, еще у 12% это 5 или более.
  • Самые популярные новогодние жанры – Экшен, Логические/Головоломки/Паззлы и Приключения.
  • Мужчины предпочитают Экшен, женщины – Логические.
  • 57% с большим удовольствием смотрит вознаграждающее видео во время праздников.
  • Просмотр вознаграждающего видео – самая популярная рекламная активность у пользователей в обмен на получение внутриигровых предметов. На втором месте – опросы и исследования, на третьем – скачивание новых приложений.
  • Из рекламных тем больше всего интересует кино, другие приложения и шоппинг.
Комментарии
Продолжить чтение

BaaS

Google запускает Firebase Predictions для предиктивной аналитики пользователей

Вчера на Firebase Dev Summit компания Google анонсировала несколько новых функций платформы. Одна из них – предиктивная аналитика Firebase Prediction.

Леонид Боголюбов

Опубликовано

/

Вчера на Firebase Dev Summit компания Google анонсировала несколько новых функций платформы. Одна из них – предиктивная аналитика Firebase Prediction.

По текущим действиям пользователей  Firebase Prediction может с определенной точностью предсказать:

  • Пользователей, которые откажутся от приложений в ближайшие 7 дней
  • Пользователей, которые продолжат пользоваться приложением
  • Пользователей, которые потратят деньги
  • Которые не потратят деньги в ближайшие 7 дней

Используя эти данные, можно, например, при помощи Remote Config обращаться к целевым пользователям с таргетированной рекламой или предложениями.

Firebase Predictions также работает с любыми событиями конверсии Analytics, позволяя сегментировать пользователей в самых широких пределах.

Например, если вы знаете, что игроки, дошедшие до определенного уровня, остаются в игре на продолжительное время, то можно взять этот показатель за точку отсчета и с помощью Firebase Predictions предсказать, кто дойдет до него, а кто нет. Для тех, кто не дойдет, уменьшить сложность.

Так, в тестах с Halfbrick Studios платформа смогла увеличить возвраты 7 дня на 20%.

Комментарии
Продолжить чтение

Наша рассылка

Каждому подписавшемуся - "1 час на UI аудит": бесплатный ускоренный курс для разработчиков веб и мобильных приложений!

Нажимая на кнопку "Подписаться" вы даете согласие на обработку персональных данных.

Популярное

X

Спасибо!

Теперь редакторы в курсе.