Connect with us

Аналитика пользователей

Как выбрать правильные метрики для продукта

Анна Булдакова, продакт Intercom и ведущая канала No Flame No Game, разобрала популярную статью Кэрри Родден из Google и объяснила, как стоит подходить к продуктовым метрикам.

AppTractor

Опубликовано

/

     
     

Какое-то время назад все активно начали делиться вот этой статьей от UX-исследователя в Google Ventures про то, как выбрать правильные UX метрики для продукта. Статья крутая, но после практического использования возникают вопросы: поэтому ловите вольный перевод (в кавычках) и мои комментарии к нему.

В процессе дизайна можно полагаться на пользовательские данные и на результаты экспериментов. Это то, что сейчас называется data-driven design, но я предпочитаю термин data-informed design — “рулит” все еще дизайнер, а не данные.

Чтобы это работало на практике, надо смотреть на правильные метрики. Базовые цифры по трафику (количество просмотров страницы или количество уникальных пользователей, к примеру) легко отслеживать; они дают неплохое понимание, как поживает ваш сайт; но часто они совершенно бесполезны для оценки UX-изменений. Все потому, что они слишком общие и напрямую не отражают качество продукта или цели проекта — на их основе сложно понять, что делать дальше.

Я работаю UX-исследователем в Google, и мы разработали несколько полезных фреймворков для определения и выбора метрик, отражающих:

  • качество user experience (HEART);
  • цели вашего продукта или проекта (Цели-Сигналы-Метрики).

Во-первых, да, data-informed. INFORMED by data, not driven. Сначала стратегия и цели, затем метрики. Сначала гипотеза и, опять же, цели, затем эксперимент. Накручивать циферки только ради циферок можно очень долго и очень успешно, только продукт от этого лучше не станет.

Во-вторых, да, на “базовые метрики” смотреть бесполезно. Ну поверьте, нет такой волшебной пилюли, которая работала бы для всех. Безусловно, у вашего продукта могут трекаться такие же метрики, как и других продуктов: те же DAU, Retention, ARPU и прочие. Но вот вопрос, какие из них будут для вас более важны, а какие — менее. Условно говоря, приложение, которое отправляет сигнал SOS в ближайшую службу спасения, вряд ли будет смотреть на Retention.

В-третьих, какая-то повальная путаница с тем, что считать метриками продукта, что — метриками проекта, а где вообще продакт маркетинг затесался. По сути все просто: вот у нас есть продукт, которым можно как-то пользоваться. То, что происходит до начала использования, относится к продакт-маркетингу; то, что происходит во время, к продукту. Проект (~фича) — это гипотеза внутри продукта; соответственно, на высоком уровне успех проекта определяется метриками продукта, но также имеет и собственные “технические” метрики, которые позволят понять, все ли работает хорошо, не сломалось ли чего.

И есть еще отдельная группа метрик для исследований (время выполнения заданий или как раз Task Success, о которой говорится в статье), которые позволяют сделать количественные выводы для usability тестов. Ну это так, для общей картины ;)

Возвращаясь к моей любимой медицинской аналогии:

  • Представьте, что вы пришли на прием ко врачу. А он такой померил у вас температуру, взял анализ крови, отправил на УЗИ, а потом говорит: ну да, температура у вас низковата, давайте я вам таблетки пропишу.
  • А потом оказалось, что просто градусник сломался, а у вас и не болело ничего.
  • Или болело колено, а вас лечат от низкой температуры — потому что ниже среднего по больнице, и вообще: сказали, что у всех надо мерить температуру, значит надо мерить!

Happiness — Счастье

Помогая гугловым командам с UX метриками, мы заметили, что наши предложения обычно попадают в какую-то из 5 категорий:

H — Happiness (Счастье). Измеряет отношение пользователя, часто через опросы. Примеры метрик: удовлетворение, воспринимаемая легкость использования и NPS.

Насколько все компании хотели бы улучшать счастье пользователя, настолько же они не знают, как его считать: эмоции — не так легко измеряемая штука, как DAU, например. Вопрос в том, нужно ли это на уровне продукта.

Я пользуюсь Spotify каждый день. Я счастливый пользователь? На мой взгляд, это такой же странный вопрос, как — вот вы пользуетесь молотком, вы счастливый пользователь молотка? Эмоции — это про бренд, про историю (которой, к слову, занимается маркетинг); продукт — про решение задачи, про ценность. Пользователи могут питать какие-то чувства к Яндексу или к Гуглу, но не к поисковому движку как таковому — тут у них сугубо рациональный подход.

Опять же, если мы разрабатываем фичу (это метрики проекта, упомянули их в предыдущем посте), то должны думать о метриках продукта — и тут тот же NPS, к примеру, совершенно бесполезен: замерить таким способом влияние отдельно взятой фичи практически невозможно.

Другое дело, если мы спросим: а извлекает ли юзер какую-то пользу из нашего продукта? Концепт ценности (vs счастья) также отлично подходит и для приоритезации новых фич.

Как определить ценность? Идите от обратного: спросите себя — если мы представим идеального пользователя, который получает максимальную пользу от продукта, что он делает?

  • Если это Spotify, возможно, он слушает музыку > n минут в день.
  • Если это Uber, возможно, он делает n-ное количество поездок за определенный период.
  • Если это Slack, возможно, он пригласил n коллег в чат.

По сути, это называется “активация”: первый момент во время использования продукта, когда пользователь извлекает ценность. Важно, что пользователь вполне может и не осознать этот момент

И последнее, что я повторяю из раза в раз: начинать надо не с метрики, а с цели, а в данном контексте — с определения пользы. Если Uber определяет свою пользу в том, чтобы сделать более удобную и сравнимую по цене замену общественному транспорту, это одно. Если они думают про сокращение использования автомобилей на человека, это другое. И, к слову, польза Uber для водителя и для пассажира будет звучать по-разному.

Engagement — Вовлеченность

E — Engagement (Вовлеченность): уровень вовлечённости пользователя, часто измеряется через поведенческие прокси, такие как частота, интенсивность и глубина взаимодействия за какой-то период. Примеры могут включать количество посещений на пользователя за неделю или количество фото, которые пользователь загружает ежедневно.

По сути, engagement — это логическое продолжение активации (о которой мы говорили в прошлый раз): ответ на вопрос, а продолжают ли пользователи получать пользу от продукта? Условно говоря, пользователь Slack пригласил 10 коллег, что подскажет нам, что они все заинтересованы в продукте?

Например, вот такие engagement метрики:

  • количество времени, проведённое в чате, на пользователя
  • количество активных каналов
  • количество директ-сообщений на пользователя

и так далее.

Engagement метрики прекрасны и для определения успешности проекта:

  • в случае customer-facing фич engagement должен остаться на том же уровне (при условии улучшения других метрик) или вырасти
  • в случае инфраструктурных изменений engagement должен остаться на том же уровне.

В чем отличие между активацией и вовлеченностью?

Активация — это конкретный момент в «путешествии» пользователя. Соответственно, нас интересует количество людей, дошедших до этой точки, и как это количество можно увеличить. Вот мы упомянули в качестве активации для Spotify n минут прослушивания музыки в день. Как это определяется? Spotify выбрал пользователей, которые успешны в их понимании: например, они платящие, они пользуются продуктом уже несколько лет, они оставляют высокие оценки в сторе. Если сравнить их с неуспешными пользователями, было ли какое-то действие, которое они совершили? И, соответственно, дальше — если мы подведём неуспешных пользователей к этому действию, станут ли они успешными?

Вовлечённость — это, собственно, само путешествие; флажки, которые показывают, насколько хорошо функционирует продукт.

Adoption — Принятие

Adoption (Принятие): новые пользователи продукта или фичи. Например: количество аккаунтов, созданных за последние 7 дней, или процент пользователей Gmail, которые используют лейблы.

А вот здесь надо снова вернуться к метрикам маркетинга vs метрики продукта. Adoption как раз прекрасный пример метрики, которая где-то на стыке.

Может ли улучшение качества продукта или новая крутая фича увеличить количество новых пользователей? Может. Может ли рекламная кампания или пост в блоге увеличить количество регистраций? Может.

В моей практике второе случалось чаще, чем первое; вполне возможно, что из-за специфики продуктов, с которыми я работала. Ещё один немаловажный фактор, почему я все же больше отношу эту метрику к маркетингу, — это пользовательская привычка. Очень небольшое количество людей регулярно проверяет, как там обновился ваш продукт, особенно если они уже используют конкурента и создали вокруг него какой-то процесс (например, когда я иду на работу, слушаю подкасты в Spotify) или, что ещё хуже для вас, добавили свою персональную информацию (например, когда я делаю фото на телефон, загружаю их в iCloud). Чем дольше пользователь использует продукт, тем, вероятно, выше для него будет цена переключения. Таким образом, чтобы заставить пользователя перейти к вам, нужно либо чтобы у конкурента был видимый недостаток, которого у вас нет, либо у вас должна быть киллер-фича, которой нет у конкурента. В обоих случаях это предполагает два варианта:

  1. Пользователю вроде как все нравится, потому что он не знает, как может быть лучше — маркетинг его информирует об альтернативах.
  2. Пользователь недоволен текущим решением и пользуется им, потому что не видит/не нашел лучших вариантов — опять же, нужно ему о них рассказать с помощью маркетинговых инструментов.

Безусловно, есть ещё фактор сарафанного радио, когда пользователи в восторге от продукта и делятся рекомендациями с друзьями. Но, на мой взгляд, с точки зрения продукта это лучше отражается тремя другими метриками:

  • activation (осознал ли пользователь ценность продукта)
  • engagement (продолжает ли он получать пользу)
  • retention.

Retention — Удержание

Retention (Удержание): процент пользователей, возвращающихся в продукт. Например: как много активных пользователей в выбранный момент все ещё пользуются продуктом в более поздний момент? Возможно, вам даже больше будет интересна обратная метрика, где удержать пользователей не удалось, — отток или churn.

Тут мало что можно добавить: retention для большей части сервисов — одна из важнейших продуктовых метрик. В моей практике retention + engagement определяли успех продукта или фичи и наиболее точно соответствовали ценности, которую получает пользователь.

Churn не работает на уровне фичи, но, наверное, будет самым громким звоночком, что с продуктом что-то не так. Понятно, что будет часть пользователей, которая будет утекать по естественным причинам; нам же наиболее интересны прошедшие активацию пользователи, которые решили уйти.

Task success — Успех в выполнении задания

Task success (Успех в выполнении задания): включает в себя традиционные поведенческие UX метрики, например, оперативность (пример — время на выполнение задания), эффективность (процент выполненных заданий) и процент ошибок. Эта категория наиболее применима к части продукта, ориентированной на выполнение задачи: например, поиск или процесс загрузки.

Пример метрики, которая отлично работает для UX-исследований, но, на мой взгляд, не особо хорошо подходит в качестве продуктовой. Перечисленные выше примеры, скорее, относятся к техническим метрикам или метрикам “здоровья продукта”, и это совсем другая категория.

Возьмем, к примеру, яндексовый поиск. Да, можно улучшить время ответа, но при этом найти трешовые или нерелевантные результаты, которые не принесут пользы юзеру. Из этого следуют 2 вывода:

  • технические метрики на уровне продукта или сервиса надо рассматривать с учетом пользовательских метрик
  • технические метрики показывают эффективность продукта, но далеко не всегда — его ценность и качество.

За технические метрики обычно отвечает не PM, а разработчики или технический менеджер. Улучшают их чаще всего по одной из двух причин:

  1. Есть определенный стандарт в индустрии, которого надо достичь, чтобы быть конкурентоспособным. Например, если вы делаете поиск, ваше время ответа ну никак не может быть 1 минута.
  2. Текущие лимиты ограничивают возможности компании для роста.

Следующий фрагмент будет без моих комментариев; но, думаю, вы и так поймете, где там противоречащие друг другу куски ;)

Эти метрики можно применять на разных уровнях — от всего продукта до конкретной фичи. Например, в Gmail мы можем быть заинтересованы как в adoption продукта в целом, так и в adoption ключевых фич (например, лейблов или архивирования).

Нас часто спрашивают: “Зачем измерять adoption или retention, когда ты просто можешь посчитать уникальных пользователей?”. Безусловно, важно понимать, сколько пользователей к вам приходит за определенный период (например, активные пользователи за 7 дней). Но если вы также измеряете adoption и retention, вы точно отделите новых пользователей от возвращающихся и сможете быстро понять, растет ли ваша аудитория. Это особенно важно для новых продуктов или фич, или для редизайна.

Необязательно создавать метрики во всех из этих категорий — вы можете выбрать только те, которые наиболее важны для вашего проекта. Фреймворк HEART может помочь вам решить, какая из категорий вам нужна. Например, в бизнес-продуктах, которыми пользователи, возможно, пользуются ежедневно и где они интегрированы в рабочий процесс, может быть бессмысленно мерять вовлеченность, зато может быть интереснее сосредоточиться на счастье пользователя или на task success. Как бы то ни было, может быть полезно учитывать engagement на уровне определенных фич, как индикатор их полезности.

Мы применяли фреймворк HEART к широкому спектру проектов в Google и считаем, что это очень полезный инструмент, чтобы направить обсуждение с командой в нужное русло. Акроним хорошо запоминается; его можно использовать для фасилитации встреч, просто обозначая категории на доске.

Цели — Сигналы — Метрики

Итак, как же перейти от HEART категорий к метрикам, которые вы можете внедрить и трекать? К сожалению, нет готового HEART дашборда, который магически за вас это сделает, — наиболее вероятно, что самые полезные метрики будут специфичны для вашего продукта или проекта.

Цели

Порой хочется начать думать о метриках, просто составляя длинный лист, но он быстро может стать громоздким и неудобным в приоритезации. В идеале вам нужен небольшой сет ключевых метрик, которые важны для всех членов команды. Чтобы понять, что это за метрики, надо начать на уровень выше: определить цели, а потом уже выбрать метрики, которые помогут вам измерять прогресс по выполнению этих целей.

Порой может быть удивительно сложно сформулировать цели проекта, и в этот момент полезно использовать для дискуссии категории метрик HEART. В YouTube, к примеру, одна из наиболее важных целей относится к категории Engagement: мы хотим, чтобы пользователи наслаждались видео, которые они смотрят, и продолжали открывать больше видео и каналов, которые они хотели бы посмотреть. У вас могут быть разные цели для определенного проекта или фичи — и для продукта в целом. Для YouTube Поиска ключевая цель относится к Task Success категории: когда пользователь вводит запрос, мы хотим, чтобы он быстро и легко нашел наиболее релевантные видео или каналы.

Частая ловушка — определять цели в рамках ваших существующих метрик: например, “наша цель увеличить трафик на сайт”. Да, каждый хочет это сделать, но как UX-улучшения помогут вам в этом? Хотите ли вы увеличить вовлеченность существующих пользователей или привлечь новых?

Вы можете не осознавать, что у разных членов вашей команды могут быть разные представления о целях вашего проекта. Этот процесс предоставляет возможность достичь соглашения о том, в каком направлении вы движетесь.

Сигналы

Следующий шаг — привязать цели к более низкоуровневым сигналам. Как успех или провал в достижении целей может проявить себя в пользовательском поведении или отношении? Например, сигналом вовлеченности для YouTube может быть количество видео, просмотренных пользователем, а еще лучше — время, потраченное на просмотр видео. Сигналом провала в Task Sucess категории для YouTube Search может быть запрос, по которому не было ни одного клика на результаты.

Обычно есть большое количество потенциально полезных сигналов для конкретной цели. Как только вы набросаете какое-то количество “кандидатов”, остановитесь и проведите небольшое исследование.

Во-первых, насколько легко трекать каждый сигнал? Будут ли логироваться нужные действия в продукте, или можно ли это сделать? Можете ли вы выкатывать опросы на постоянной основе? Для Task Success метрик одна из опций — использовать задания в benchmarking исследовании, которые можно проводить с большим количеством участников.

Во-вторых, выбирайте сигналы, которые будут чувствительны к изменениям в вашем дизайне. Если вы уже собираете потенциально полезные сигналы, вы можете проанализировать имеющиеся данные и попытаться понять, какие сигналы будут точнее всего предсказывать достижение соответствующей цели.

Метрики

Сигналы, которые вы выбрали, можно уточнить и превратить в метрики, которые вы будете трекать в динамике или использовать для сравнения в экспериментах. В примере с вовлеченностью в YouTube мы могли бы внедрить сигнал “как долго пользователи смотрят видео” как метрику “среднее количество минут, потраченное на просмотр видео, на пользователя в день”.

Специфика сильно зависит от вашей инфраструктуры. Но, как и на предыдущем шаге, есть множество метрик, которые можно вывести из определенного сигнала, — вам надо будет проанализировать данные и решить, какие будут для вас наиболее полезны. Возможно, вам также надо будет нормализовать сырые числа и использовать среднее или проценты, чтобы сделать их более “говорящими”.

Процесс Цели-Сигналы-Метрики должен привести к приоритезации метрик — важно трекать метрики, которые относятся к вашим ключевым целям. Не добавляйте просто “интересные цифры” в ваш список. Помогут ли они вам принять решение? Нужно ли вам трекать их в динамике, или достаточно одного измерения? Фокусируйтесь на метриках, которые относятся к вашим целям, чтобы избежать затрат на их внедрение и засорения дашборда.

Если вы хотите, чтобы ваш продуктовый дизайн информировался данными, подумайте над метриками, которые отражают качество user experience, и свяжите их с вашими основными целями.

Джон Белл (Twitter): будущее дизайна уже наступило, и оно связано с данными

Комментарии
Если вы нашли опечатку - выделите ее и нажмите Ctrl + Enter! Для связи с нами вы можете использовать info@apptractor.ru.
Advertisement
Click to comment

You must be logged in to post a comment Login

Leave a Reply

Аналитика пользователей

Почему сосредоточение на привлечении пользователей убьет ваш мобильный стартап №2: RARRA и воронка

Габор Папп переосмыслил популярную модель AARRR и предлагает вместо нее использовать RARRA. В этой части он популярно объясняет, как применять ее на практике.

AppTractor

Опубликовано

/

Автор:

Если вы соедините воронки с RARRA, то это позволит вам лучше сосредоточиваться на росте. Вы всегда будете знать, на какой стадии вы работаете, и как это вписывается в весь поток работы пользователей.

Это поможет вам:

  • продать свое маркетинговое видение руководству и получить больше бюджета от CEO;
  • CEO всегда будет в курсе и будет чувствовать, что все хорошо;
  • определить ключевые области, в которых вам необходимо нанять (или уволить) людей;
  • укрепить доверие между маркетингом и другими отделами;
  • лучше общаться внутри и вовне.

Когда я присоединился к Shapr3D в качестве одного из первых членов команды в 2016 году, я провел первые недели в понимании воронки пользователей. Мне потребовалось некоторое время, чтобы получить четкое представление о том, как пользователи взаимодействуют с продуктом, откуда они берутся, что их побуждает загружать приложение и т.д.

Я проделал несколько пользовательских исследований и попытался нарисовать воронку. Для этого я использовал модель AARRR. Мне нравится видеть Осведомленность в верхней части фреймворка AARRR, поэтому он состоять уже из шести элементов:

Осознание, Привлечение, Активация, Удержание, Доход, Рекомендации.

Хотя модель кажется легкой, она может стать сложной, если вы захотите использовать в ней метрики, ключевые действия и взаимодействия. Поэтому имеет смысл визуализировать его. Это ранняя версия моей воронки.

Она охватывает основные этапы в синем цвете (от Осознания до Рекомендаций), показатели, которые отслеживаются на каждом этапе в зеленом, процессы сверху в оранжевом и ключевые действия в середине. Синяя линия не является целенаправленной. Это просто визуальная помощь, чтобы я знал, что есть поток пользователей, и не все идет друг за другом (взлеты и падения).

В качестве первого шага это действительно помогает и позволяет упростить понимание всех областей, над которыми вы хотите работать.

Наличие хорошего представления вашего продукта чрезвычайно важно:

  • это помогает вам лучше понять продукт,
  • делает шаги и определения понятными для каждого члена команды,
  • соединяет всю команду на одной странице.

Несколько недель назад я написал большую статью, основанную на моем опыте в Shapr3D, о том, как вы можете комбинировать и внедрять стек мобильного роста Энди Карвелла и визуализацию воронок в техническом стартапе. Если вы еще не прочитали его, обязательно прочтите.

RARRA встречается с воронкой

Вы уже сделали гигантский шаг вперед в попытке не убить свое мобильное приложение.

Но не стоит здесь останавливаться. Теперь, когда у вас есть общее представление и понимание того, где нужно сосредоточиться, пришло время перейти к действиям. Именно здесь появляется Mobile Growth Stack.

Стек представляет собой простую основу для стратегического мобильного роста. Это мощный инструмент для руководства любой группой роста.

Если ваша компания стоит на пороге запуска продукта, вы должны использовать фреймворк в качестве справочной информации для определения целей и разработки продукта. Вы даже можете использовать цветовые коды, чтобы выделить важные области и элементы, которые еще не применяются к вам.

Также полезно повторно выполнить упражнение по аудиту/цветовому кодированию с течением времени, чтобы определить, имеет ли смысл менять области фокусировки. Потому что, надеюсь, эксперименты улучшат работу в определенных областях.

Если вы уже запустили продукт, то вы можете:

  • использовать стек в качестве инструмента для аудита вашего запуска;
  • использовать стек в качестве основы для роста.

В качестве основы для роста вы можете применить стек к:

  • созданию собственных экспериментов или
  • повторению чужих идей.

В обоих случаях эта структура служит ориентиром и точкой отсчета. Вам просто нужно выбрать квадраты и сопоставить их с инструментами и процессами.

Вот некоторые идей, которые вы можете реализовать для улучшения удержания и активации:

  • создать обучающий курс для пользователей
  • отправлять сообщения в приложении и отправлять уведомления пользователям
  • отправлять электронные письма для вовлечения
  • создать вебинар, в котором объясняется, как использовать продукт
  • рассказать о том, как другие успешно использовали продукт
  • создавать целевые страницы и веб-сайты для конкретных случаев использования продукта

Вы можете создать свой собственный список идей, сохранить их в бэклоге и потом протестировать их. Сначала сосредоточьтесь на удержании и активации. Не на привлечении.

Конечно, я знаю, что вам нужен объем, чтобы иметь значимые результаты в тестах, поэтому имеет смысл запускать начальные кампании по приобретению, но вы должны быть УМНЫ в этом.

При запуске кампании установок вам нужно держать в уме всю воронку. Здесь мы и объединим воронку с RARRA и стеком роста.

Объединяем все это: RARRA + воронка + стек роста

Если вы хотите запустить кампанию Facebook App Install для тестирования начального CPI  и понимания возвратов пользователей, поступающих из платных объявлений, вы захотите использовать:

  • Социальную сеть канал.
  • Performance marketing как тип привлечения.
  • CRO и атрибуцию установок для оценки монетизации и аналитики.

Чтобы запустить этот процесс, вы можете использовать Facebook Power Editor в качестве платформы для объявлений, Branch.io для атрибуции и отслеживания результатов, плюс iTunes Connect. Если у вас встроена какая-то мобильная аналитика, вроде Mixpanel или Flurry, то вы можете получить еще больше данных и выполнить когортный анализ. Если у вас есть все это, то тут начинается волшебство. :)

Для примера – вот моя настройка для этой тестовой кампании:

  • Созданы объявления в Facebook для привлечения установок приложений
  • Проверен CPI
  • Проверено удержание
  • Проверен ROI

Обратите внимание на то, что я не просто запускаю кампанию привлечения установок, но уже настроен на всю воронку. Отлично!

Я хочу отслеживать пользователей с самого начала и вплоть до конца (они удерживаются? Платят ли они? Ссылаются ли они на других?). Чтобы сделать это, я последовал за ними:

  1. Пользователи нажимают на целевое объявление Facebook.
  2. Приземляются в Apple App Store.
  3. Загружают приложения.
  4. Начинают использовать его (активация).
  5. Возвращаются (удержание).
  6. Платят за приложение (монетизация).
  7. Оставляют комментарий, оценивают приложение (рекомендуют).

Чтобы отслеживать все, мне пришлось настраивать отслеживание в обратном порядке.

1. Установлена ​​аналитика приложений (Mixpanel) + FB + iTunes Connect Analytics.

2. Использован iTunes Connect Campaign Generator для создания ссылки для объявления.

Это то же самое, что и инструмент тегов UTM для Google Analytics.

3. Создано больше ссылок и сегментов для тестирования.

Чтобы проверить множество переменных, создан шаблон тегов для них – учитывается возраст, пол, источник, тип и интересы. Он работает так же, как и генератор iTunes Connect, но здесь я могу размечать сразу много ссылок.

4. Настроена атрибуция для этих ссылок.

Я подписался на Branch и использовал эти помеченные ссылки для создания атрибутов deeplinks.

5. Соответственно, эти ссылки с атрибутами используются в объявлениях Facebook и с их помощью отслеживается CTR и CPI.

6. Позднее использовались данные Branch + iTunes Connect + Mixpanel для понимания показателей активации, удержания и монетизации.

Вот где все стало действительно интересно.

  1. У меня стало много данных, на которые я мог посмотреть и измерить результаты теста.
  2. Я обнаружил одну странную вещь. Данные в iTunes Connect, Facebook и Branch расходятся.

Потребовалось некоторое время, чтобы понять это, но, оказывается, Facebook переоценивает загрузку приложений, в то время как iTunes Connect недооценивает их, поскольку у него есть только информация о пользователях, которые разрешили получение данных.

Стойте, что?

Вы все прочли правильно. Согласно iTunes Connect, Apple показывает только данные от пользователей, которые согласились поделиться своей информацией об использовании с разработчиками приложений.

За последние 30 дней только 34% всех пользователей, установивших Shapr3D, захотели это сделать.

Таким образом, надежной информации о 2/3 ваших пользователей нет. Прекрасно…

Данные о загрузках не должны влиять на юнит-аналитику приложения, но для меня размеченные кампании никогда не возвращали «значения, которые я ожидал», поэтому я скептически отношусь к ним. Но многие аналитические данные доступны только с учетом установок, из-за этого измерение удерживания для кампаний практически невозможно.

Вот почему разумное решение полагаться на партнера по атрибуции (например, Tune, Adjust, Kochava или Appsflyer), а не только на аналитическую систему, предоставленную Apple.

Мобильный стек роста помог мне свести это вместе и спас меня, когда цифры разошлись. Без стека было бы кошмаром выяснять, как связаны элементы и где все пошло не так.

Выполнение тестов и экспериментов, подобных этому, важно, но вы должны выполнять эти тесты только если вы:

  • может измерять то, что происходит позже в воронке или
  • вы ДЕЙСТВИТЕЛЬНО уверены, что цифры складываются, и вы выигрываете в борьбе CPI против LTV.

Преждевременное масштабирование и привлечение могут действительно навредить вашему мобильному стартапу. Фактически, это может буквально убить его.

Поэтому вместо того, чтобы прыгать прямо в режим привлечения / исполнения, я бы предложил сделать следующее:

Сначала удержание. Затем активация. А привлечением займитесь позже.

Чтобы помочь вам лучше ориентироваться в этом пространстве, рассмотрите следующие действия.

Чтобы создать хороший мобильный маркетинговый процесс:

  1. Отобразите воронку ваших пользователей.
  2. Используйте RARRA для поиска областей сосредоточения.
  3. Провести аудит с использованием стека мобильного роста.
  4. Соберите идеи эксперимента в бэклоге.
  5. Используйте стек роста для создания экспериментов.
  6. Проведите эксперименты.
  7. Тестируйте и измеряйте.

Если вы сосредоточитесь на этих шагах, вы, скорее всего, добьетесь успеха. Если бы другие разработчики приложений следовали этим шагам, у нас было бы меньше разорившихся стартапов.

Воронка AARRR – хорошая концепция, но это не поможет вам сосредоточиться на вещах, которые действительно имеют значение. Вместо этого используйте RARRA. Сосредоточьтесь на удержании. И оставьте привлечение на потом.

Эти три простых правила могут просто сохранить ваше мобильное приложение.

Если вы объедините визуализированную воронку с RARRA и стеком мобильного роста:

  • вы поймете пользовательский поток и его основные области (воронка)
  • узнаете, над чем нужно работать и на чем фокусироваться (RARRA)
  • поймете, что делать (стек)
  • получите шанс выжить :)

Хотите, чтобы ваш мобильный стартап провалился? Сосредоточьтесь на привлечении пользователей! Хотите максимизировать свои шансы на победу? Сосредоточьтесь на удержании! Эти фреймворки могут помочь вам победить.

 

Комментарии
Продолжить чтение

Аналитика пользователей

В течение 30 дней удаляется 28% приложений

Appsflyer в новом исследовании изучил удаление приложений пользователями.

AppTractor

Опубликовано

/

Автор:

Данные собирались в апреле 2018 и это 110 миллионов установок для более чем 1,000 приложений.

Средний уровень удалений в течение 30 дней составляет 28%. Удаление по странам варьируется довольно сильно:

На развивающихся рынках удалений больше – вероятно, это можно объяснить слабыми устройствами и малым количеством свободного места на них, пользователям приходится удалять одно приложение, чтобы поставить другое.

Удаление по вертикалям также сильно меняется:

В лидерах развлекательные приложения, которым необходима большая и быстро работающая инфраструктура и регулярное обновление контента. Если этого нет, то приложение быстро погибает. На втором мест путешествия – «одноразовые» приложения для отпуска, которые удаляются после использования.

Кривая удаления по дням:

 

Комментарии
Продолжить чтение

Аналитика пользователей

Почему сосредоточение на привлечении пользователей убьет ваш мобильный стартап №1

Габор Папп переосмыслил популярную модель AARRR и предлагает вместо нее использовать RARRA. В чем смысл изменений и почему AARRR может убить стартап?

AppTractor

Опубликовано

/

Автор:

Я большой поклонник модели AARRR (Acquisition, Activation, Retention, Referral и Revenue ). Но у нее есть одна серьезная проблема – она фокусируется на привлечении вместо удержания. И это может разрушить ваш мобильный стартап.

В 2008 году App Store был другим. Он был:

  • Молодым.
  • В нем было 500 приложений.
  • В нем была низкая конкуренция (рынок был пустым).
  • Стоимость приобретения пользователей была низкой.
  • Все нуждались в приложениях.

Теперь, через девять лет, App Store:

  • Зрелый.
  • В нем более 2,5 миллионов приложений.
  • Конкуренция невероятно высока не только из-за большого количества приложений, но и из-за хорошо финансируемых крупных компаний.

В первые дни существования App Store было совершенно необходимо сосредоточиться на привлечении, чтобы получить трекшен:

  • CPI (стоимость установки) была смехотворно низкой.
  • На некоторых рынках вообще не было конкурентов,
  • ни в индустрии, ни в телефоне.

Сегодня история совсем другая:

  • CPI невероятно высокий.
  • Конкуренция по всему миру.
  • Большие приложения (например, Facebook, Instagram, Snapchat, Messenger, Youtube) отъедают время других мобильных приложений.
  • Ожидания пользователей выше, чем когда-либо.
  • Показатели удержания ужасны.

Тем не менее, большинство компаний в первую очередь фокусируются на привлечении, а не на правильном использовании продукта.

Если вы, как маркетолог, сейчас сосредоточены на привлечении клиентов, вы просто пробивает брешь в своем стартапе.

Прекратите это делать!

Привлечение и удержание: введение в AARRR

Воронка AARRR (они же “Пиратские метрики”) была создана ровно 10 лет назад в 2007 году. Модель помогла тысячам предпринимателей и стартапов ориентироваться в создании и развитии продуктов.

Модель AARRR с течением времени стала популярной, но один ключевой момент никогда не подчеркивался: какова правильная последовательность использования элементов модели?

Оригинальная статья Product Marketing for Pirates: AARRR! (aka Startup Metrics for Internet Marketing & Product Management), рассказывает в деталях, как вы можете использовать модель. Она поможет вам:

  • разработать модель поведения клиентов
  • а затем использовать показатели конверсии/аналитики для помощи маркетингу и в управлении продуктом.

Основная концепция идентифицирует 5 типов этапов “работы” пользователя:

  • A: Привлечение – откуда берутся пользователи?
  • A: Активация – какой % имеет хороший первоначальный опыт?
  • R: Удержание – какой % возвращается и снова использует продукт?
  • R: Рекомендации – им нравится это настолько, что они рассказывают об этом своим друзьям?
  • R: Доход – можете ли вы монетизировать любое из этого поведения?

Преимущество этой модели заключается в том, что ее можно применять во многих отраслях. Таким образом, за последнее десятилетие многие стартапы начали использовать и внедрять ее. Но одна вещь не была понятна для многих из нас.

Последовательность воронки AARRR вводит в заблуждение. Она заставляет вас сосредоточиться на привлечении вместо удержания. И это разрушает ваш стартап.

Я полностью принимаю это. Маркетологи хотят объемов. Они не хотят работать с удержанием UI/UX/продуктом. Они считают, что «UX для занимающихся UX» и «Продукт для занимающихся продуктом». Задача маркетологов – «приобретать пользователей».

Эту точку зрения можно понять, но образ мыслей «все, что происходит после приобретения, забота остальных» является безрассудным и неправильным.

Поскольку AARRR выглядит как «линейный процесс», многие стартапы фокусируются на нем именно таким образом. Но это смертельно опасно.

Чтобы получить максимальную отдачу от модели, вам необходимо заново расставить приоритеты.

Вместо того, чтобы использовать AARRR, вы должны использовать RARRA.

RARRA: меняем приоритеты

RARRA – это не что иное, как переупорядоченный список AARRR для современной, насыщенной и высококонкурентной реальности магазинов приложений.

Во-первых, вам нужно сосредоточиться на Удержании, а затем на Активации. Затем перейдите к разделам Рекомендации и Доход. Последний шаг должен состоять в Привлечении. Это последний шаг. Не первый.

Вот очень простой график, который подчеркивает это изменение.

Я видел немало компаний, которые полностью упустили это из виду. И, на самом деле, я тоже виноват в этом. Было несколько раз, когда я принимался за тестирование каналов привлечения до того, как базовый продукт имел достаточно хорошие показатели удержания или активации. Не поймите меня неправильно: конечно, имеет смысл получить оценку CPI на ранней стадии.

Но уделять основное внимание привлечению пользователей без учета того, что происходит после –  значит убивать ваш стартап.

Почему?

Потому что данные и исследования показывают, что средние приложения имеют очень плохие показатели удержания. Потерять 80% мобильных пользователей за несколько дней абсолютно нормально, как заметил Эндрю Чен.

Потеря 80% пользователей за 3 дня это нормально

Корень проблемы

Если вы посмотрите на кривую удержания среднего мобильного приложения, вы увидите огромное снижение использования приложения сразу после установки.

По данным Quettra, среднее приложение теряет 77% DAU (ежедневных активных пользователей) в течение первых 3 дней. Через 30 дней этот показатель составляет 90%. Через 90 дней он составляет более 95%.

Показатель удержания после 90 дней составляет около 5%. С ума сойти.

И с появлением все новых приложений все становится только хуже.

Представьте себе: если вы приобретете 100 пользователей через платные объявления, то через 3 дня 77 из них просто уйдет. И никогда не вернутся. Ваш CPI составлял 5 долларов. Вы просто сожгли 77 * 5 = 385 долларов США. Теперь приобретем 1000 пользователей. Через 3 дня вы сожжете $ 3,850 долларов США. Делайте это каждый месяц в течение года и приобретите 12 тысяч пользователей. Вы потеряете 46,000 долларов.

Это справедливо для Android и iOS-приложений. Если мы посмотрим на игры на двух платформах, то кривые удержания выглядят одинаково.

Все предельно понятно:

Если у вас нет удержания, у вас ничего нет.

Но если у вас есть удержание для какого-либо сегмента пользователей, то вы сможете исправить все остальное позже.

Если мобильный стартап вкладывает время и усилия в рост, прежде, чем у него будет хорошее удержание, то это значит, что он просто арендует дорогих пользователей.

Без ROI вы просто сжигаете деньги. Вот почему важно сначала сосредоточиться на удержании, а затем перейти к активации. И сохранить привлечение на более позднего этапа. Вместо AARRR вам нужно сосредоточиться на RARRA.

Ключевые метрики приложений — “Мобильные ориентиры 2018” от Adjust

Вот хорошая новость: даже небольшое улучшение активации может иметь большие результаты в удержании, главным образом потому, что эти улучшения в активации каскадно масштабируются с течением времени. Это отличный способ выпрямить кривую удержания. Звучит просто в теории, но сложнее сделать это в реальном мире. Итак, как нужно двигаться вперед, если AARRR не помогает?

AARRR – отличная модель, не поймите меня неправильно. Она просто не подчеркивает достаточные важные точки. RARRA – намного лучший подход. Он лучше, потому что приводит вас к тому, что важно.

Вам не нужны просто загрузки. Вам нужны возвращающиеся пользователи. Удержание – правильная метрика успеха вашего продукта.

Вот почему я люблю RARRA. Он фокусируется на основном: удержании. Легче сказать, чем сделать. Я знаю.

Вот почему мы должны сделать еще один шаг и вколоть RARRA стероиды.

Комментарии
Продолжить чтение

Аналитика пользователей

Дневники разработчиков: Babycare №4

Babycare – приложения для ухода за новорождённым с популярной Android-версией. Теперь Максим Колпаков и компания Wachanga покоряют пользователей iOS и каждую неделю пишут об этом заметки.

Babycare

Опубликовано

/

Автор:

Месяц позади. Теперь мы есть и в России. Так что, скорее скачивайте и оставляйте отзывы! ;)

За прошедшую неделю мы добавили голландский, итальянский, японский, малайский, норвежский, шведский, тайский языки. Не хватает только китайского и вьетнамского – ими займёмся на следующей неделе.

Сейчас у нас 520 активных пользователей. За 9 дней их количество удвоилось, но темп надо продолжать наращивать – удваиваться мы должны за 6-7 дней.

В прошлый раз я назвал метрику Retention волшебной. Об этом сегодняшний рассказ.

Активно и осознанно работать с продуктовыми метриками я начал 5 лет назад – после общения с Айнур Абдулнасыров, основателем Lingualeo. На одном из стартап-ивентов я добился его аудиенции и спросил: «Как сделать продукт, который все полюбят и понесут мне деньги?». Айнур в ответ рассказал мне о «пиратских метриках» (AARRR).

  • Acquisition – привлечение;
  • Activation – активация;
  • Retention – удержание;
  • Referral – рекомендации;
  • Revenue – доход.

AARRR – это альтернативный взгляд на обычную воронку продаж, наиболее применимый в SaaS-продуктах и freemium-модели монетизации (см. картинку).

Instagram до Instagram: уроки роста

С тех самых пор каждый мой продукт максимально покрыт аналитическими инструментами, в реальном времени замеряющими десятки и сотни показателей. И моё рабочее утро начинается с просмотра дашборда с наиболее важными на данный момент метриками.

Retention в этом списке для меня не менее важен, чем Revenue, а в периоды активного роста клиентской базы выходит на первый план. Это и число клиентов, вернувшихся на следующий день (R1) или 7-й день (R7), и частота использования в течение дня, длительность каждой сессии, время между первой и второй сессией и так далее. Retention – это всё, что описывает ситуацию, когда клиент возвращается, чтобы использовать продукт повторно.

Почему это так важно:

  • Это самый явный индикатор того, не херню ли вы делаете. Люди возвращаются, если продукт реально решает их проблемы.
  • Чем чаще клиент использует продукт, тем чаще он сталкивается с вашими офферами. Вот вам прямой выход на деньги. Если у вас рекламная модель монетизации, то тут также – дольше и чаще смотрят рекламу, соответственно, больше денег.
  • Чем сильнее у человека вовлеченность в использование вашего продукта, тем охотнее он привлекает своих знакомых – ваших новых клиентов.
  • Магазины приложений учитывают retention прямо или косвенно. Обобщённо: чем лучше «возвращаемость» пользователей, тем выше будет приложение в рейтингах.

Ключевые метрики приложений — “Мобильные ориентиры 2018” от Adjust

Как влиять на Retention:

  • Продукт. Это главное, всё остальное – попытки компенсировать плохую работу над этим пунктом. Сам продукт должен быть построен так, чтобы клиент имел потребность в его ежедневном использовании.
  • Онбординг. Первая сессия – самая главная. То, как мы встретим нашего клиента, влияет на всё последующее. За первые мгновения знакомства вы должны понравиться и убедить, что именно ваш продукт решает проблему клиента. Считайте, что второго шанса не будет.
  • Игровые механики. Игровая индустрия нагенерировала тонны хаков и приёмов, помогающих удерживать клиентов. Квесты, ачивки, дейлибонусы, разорванные игровые циклы и так далее. Изучайте и используйте.
  • Социализация. Люди жаждут общения, особенно после того, как базовые потребности удовлетворены (проблема продуктом решена). Можете дать такие инструменты внутри продукта, но помните, что потребуется больше ресурсов на поддержку, и есть риск потерять концентрацию в работе над основной частью продукта.
  • Пуши. Чтобы push-уведомления имели должный эффект, сначала должны быть проработаны все предыдущие пункты. Пуши – лишь технический инструмент. Тем не менее, их тексту нужно уделить особое внимание.
  • Апдейты. Каждое обновление продукта привлекает внимание текущих клиентов. Это ещё один повод зайти в приложение и посмотреть, а не появилось ли в нём что-нибудь вкусного.

Конечно, есть продукты, в которых по самой сути не может быть великих показателей удержания. Взять, к примеру, одно из наших приложений – «Счётчик схваток». Им пользуются максимум 1-2 суток, нередко – вовсе несколько часов. Зато всё это время мы владеем вниманием беременной женщины, которая боится пропустить момент выезда в роддом. И за это внимание, конечно, тоже нужно бороться.

В нашем Babycare Android App мы почти год бились над ретеншеном, кастдевили, выпускали десятки апдейтов, делали всё, чтобы приложением пользовались непрерывно. И сейчас мы имеем в среднем (!) 30 запусков в день на одного пользователя и retention 4-го месяца более 20%. Это и стало одним из важнейших факторов выхода в лидеры.

Запомните: если вы создаёте большую, «миллиардную» историю, для вас нет ничего важнее этой метрики. Все успешные продукты имеют хороший ретеншн. И это не следствие, а причина их успеха.

Без классного ретеншена у вас нет шансов!

Комментарии
Продолжить чтение

Реклама

Наша рассылка

Нажимая на кнопку "Подписаться" вы даете согласие на обработку персональных данных.

Вакансии

Популярное

X
X

Спасибо!

Теперь редакторы в курсе.