Connect with us

Аналитика пользователей

9 способов повысить точность прогноза дохода

И аналитики, и маркетологи, вне зависимости от сферы, в которой они работают, регулярно решают одну и ту же задачу: прогнозирование дохода. Просто формулируется задача, бывает, по-разному: “сколько мы заработаем к концу года?”, “что принесёт нам больше денег, фича 1 или фича 2?”, “стоит ли нам выходить на этот рынок?” и так далее.

devtodev

Опубликовано

/

     
     

И аналитики, и маркетологи, вне зависимости от сферы, в которой они работают, регулярно решают одну и ту же задачу: прогнозирование дохода. Просто формулируется задача, бывает, по-разному: “сколько мы заработаем к концу года?”, “что принесёт нам больше денег, фича 1 или фича 2?”, “стоит ли нам выходить на этот рынок?” и так далее.

В этой статье Василий Сабиров, главный аналитик devtodev, собрал 9 советов, которые помогут вам повысить точность прогноза дохода.

Совет 1. Используйте временные ряды.

Трудно (а чаще всего попросту невозможно!) предсказать будущий доход, не зная дохода за прошлые временные периоды. Поэтому чаще всего у вас есть данные о том, как доход, который вы предсказываете, вёл себя в прошлом. А значит, вы имеете дело с временными рядами.

И здесь есть несколько методов, на которых хотелось бы остановиться:

Тренды и сезонность

Вообще, про них мы уже писали отдельный лонгрид. А сейчас я хочу дополнить несколькими практическими советами:

Будьте осторожны с полиномиальными трендами. Они хорошо (иногда лучше всех других методов) повторяют имеющиеся данные. Но когда дело доходит до прогноза – их штормит. В зависимости от степени полинома, хвост графика (собственно, прогноз) может загибаться в ту или иную сторону. И чем выше степень, тем выше гибкость графика и вероятность того, что он загнётся не туда.

Лучше всего помогает понять динамику простой линейный тренд. Да, это так. Он просто говорит, растёт ваш доход или падает, а также указывает, с какой скоростью он это делает. Чтобы понять, куда вы движетесь – этого достаточно. Чтобы сделать точный прогноз – едва ли.

Разбивайте временной ряд на отрезки. У всего есть жизненный цикл, и у онлайн-проектов тоже. Соответственно, будет опрометчиво делать прогноз, выстраивая линейный тренд на всех данных с самого начала жизни проекта: слишком много всего уже успело в нем измениться. Будет лучше выделить на графике несколько этапов, понять причины перехода из одного этапа в другой, а прогноз сделать в первую очередь на основании данных по последнему этапу. Помните себя на интервале 5-10 лет назад? Далеко не каждый из вас тогда мог представить себя образца 2017 года. И пусть это будет иллюстрацией необходимости разбиения временного ряда на отрезки.

Пример прогноза с применением тренда и сезонности

Авторегрессия

Практика показывает, что это более точный метод, чем простое использование трендов и сезонности. По сути, вы строите регрессионную модель дохода на основании значений этого же дохода за один, два, …, N предыдущих периодов.

Таким образом вы можете найти скрытые закономерности в данных, которые не смогли найти тренды с сезонностью. Чем больше периодов вы закладываете в регрессию, тем на более долгий срок вы сможете сделать прогноз.

Допустим, если вы имеете данные по доходу за каждый из дней прошлого года, то вы вполне можете строить прогноз на каждый из 30 дней будущего месяца, добавив в регрессионную модель 30 переменных.

ARMA и ARIMA

Эти модели являются развитием модели авторегрессии. Собственно, авторегрессия входит в них, и “AR” в их названиях обозначает как раз её. А “MA” обозначает скользящее среднее (moving average), и это говорит нам о том, что данные модели ещё глубже проникают в данные, лучше распознавая их внутренние закономерности.

В Excel реализовать их уже не так просто (хотя уже есть соответствующие надстройки), но по-прежнему возможно. Лучше всего, конечно, воспользоваться статистическими инструментами. Я бы рекомендовал SPSS или Statistica, но моя рекомендация базируется не более чем на опыте личного использования.

Как правило, ARMA и ARIMA дают прогнозы более точные, чем простая авторегрессия, но прирост точности уже не так велик, как у авторегрессии по сравнению с трендами и сезонностью. Поэтому если вам нужен быстрый прогноз, то в сторону ARMA и ARIMA можно не копать.

Пример реализации модели ARIMA в пакете Statistica

Совет 2. Не забывайте о регрессионных моделях.

Регрессия – вообще, метод довольно универсальный. Его преимущество перед временными рядами в том, что в случае временных рядов вы делаете прогноз на основании значений только лишь дохода за предыдущие периоды времени, а в регрессионных моделях вы рассматриваете ещё и другие метрики.

Существует несколько способов посчитать доход. Например, доход – это аудитория, умноженная на ARPU (доход с пользователя). Аудитория – количественная метрика, она говорит о масштабе проекта, на неё сильно влияет трафик. А доход с пользователя – метрика качественная, говорящая о том, насколько ваши пользователи готовы платить. И эти метрики можно и нужно рассматривать и прогнозировать отдельно: они ведут себя по-разному, на них влияют разные факторы.

Похожие рассуждения можно проделать, рассмотрев и другую формулу дохода: платящие пользователи, умноженные на доход с платящего (ARPPU). Да и вообще, теоретически можно “скормить” регрессионной модели все имеющиеся у вас метрики, пускай сама всё считает и находит закономерности.

Пример реализации линейной регрессии на Python

Буквально несколько советов:

  • Если это возможно (в Excel – не всегда), то включайте в модель только значимые переменные. Если вы даёте на вход сто метрик, то необязательно все сто должны участвовать в итоговом уравнении.
  • Старайтесь, чтобы метрики, которые вы даёте на вход, были максимально независимы друг от друга, слабо коррелировали. В противном случае вы рискуете получить неустойчивый результат (который хорошо повторит ваши исходные данные, но будет выдавать что-то странное, когда речь пойдет о прогнозе).
  • Изучайте остатки. Если вы изучали регрессию в вузе, то наверняка помните страшное слово “гетероскедастичность” – речь о ней самой. Если вы всё сделали правильно, то взглянув на график остатков, вы ничего не сможете сказать: там будет непредсказуемая случайная величина с математическим ожиданием, равным нулю. Если же вы видите в остатках какую-то закономерность (допустим, синусоиду), то возможно вы как раз нарвались на гетероскедастичность, то есть не учли дополнительную логику, по которой распределены данные. И в этом случае вам надо просто изменить уравнение регрессии, добавив в него неучтённое уравнение (в нашем случае – синусоиду).

 

Пример гетероскедастичности: на графике остатков видно, что в них наблюдается как минимум линейная закономерность; стоит перестроить уравнение регрессии

Совет 3. Стройте кастомные модели под свой проект.

На временных рядах и регрессии свет клином не сошёлся, и вы всегда можете строить свои модели, учитывающие логику вашего продукта.

Вот вам пример модели, которую люблю строить я:

  • Мы можем посчитать, сколько пользователей в данный момент проживает свой первый, второй, третий и т.д. месяц в проекте.
  • Мы можем посчитать процент пользователей, которые остаются активными и на второй месяц. А также процент перехода из второго месяца в третий, и так далее.
  • Наконец, мы можем посчитать, сколько в среднем платит пользователь, уже N-й месяц живущий в проекте, в течение этого месяца. Иначе говоря, ARPU месяца.

Этого достаточно, чтобы построить модель: вы будете знать, как ваши пользователи “перетекают” из месяца в месяц и сколько они платят. К слову, необязательно месяц: можно год, неделю или теоретически даже день (хотя день я не пробовал, надо признать) – любой значимый для вас период, в зависимости от того, сколько пользователи живут в вашем проекте.

С помощью такой модели вы легко можете планировать вливания трафика, надо лишь увеличить число новых пользователей в конкретный месяц.

Совет 4. Рассчитывайте окупаемость своего трафика.

Очень часто, особенно на ранних стадиях, проект целиком зависит от новых пользователей – если они есть, то проект зарабатывает. Если их нет – проект осушается.

А потому все предыдущие советы будут бесполезны, если вы не знаете, когда и сколько трафика будет влито.

Поэтому будет хорошо, если вы сможете построить кривую накопительного дохода вашего трафика по дням: сколько денег приносит в среднем ваш пользователь за первый день, за первую неделю, две, три недели, месяц и так далее. Это та самая величина, пределом которой является LTV. Зная накопительный доход, вы сможете и точнее предсказывать выручки в зависимости от того, когда и сколько пользователей вы получили, и рассчитывать окупаемость трафика.

Соотношение между накопительным доходом, CPI и LTV

Совет 5. Применяйте экспертное прогнозирование.

Речь в основном касается тех случаев, когда вы планируете изменения в проекте, которые могут существенно сказаться на выручке (что не исключает применения этого метода и для случая, когда изменений не планируется).

Допустим, готовите вы к выходу новый контент, новые функции, новый вид подписки – что угодно. Хорошим вариантом будет опросить тех, кто причастен к этому изменению (менеджер проекта, геймдизайнер, продюсер, маркетолог), как, по их мнению, это скажется на выручке. Кому, как не им, давать оценку этой выручке? Кому? Конечно, вам, как аналитику. Вы можете базировать свой прогноз на их экспертной оценке, дополнив её строгими расчётами.

В принципе, возможен даже такой вариант (я его применял, и он давал хорошие результаты). Вы каждый месяц опрашиваете определённую группу коллег, относительно того, чему будет равен доход проекта на следующий месяц. Накопив данные об их оценках и о фактическом доходе за несколько месяцев, вы сможете впоследствии дать их оценкам веса (а некоторые, быть может, и исключить вовсе). К примеру, вы можете заметить, что продюсер всегда даёт завышенный прогноз, а маркетолог, наоборот, слишком скромен в своих оценках. И истина будет где-то посередине, а где именно – покажут те самые веса.

К тому же, это хороший способ узнать о тех изменениях, которые планируются в проекте, буквально из первых уст.

Совет 6. Делайте ставки.

К слову о вовлечении коллег в процесс. Это вовлечение можно усилить, добавив в него элемент геймификации.

Я не буду вас учить, как делать ставки, вы справитесь и без меня. Скажу лишь, что эта игра, если играть в неё регулярно с ключевыми сотрудниками, повышает понимание дохода как главного KPI продукта и позволяет каждому лучше понять логическую взаимосвязь между его действиями и значением показателя.

Вам же, как аналитику, эта игра будет полезна, потому что она стимулирует к тому, чтобы разобраться, почему ваш прогноз не сошёлся с реальностью: может быть, вы учли не все факторы?

Совет 7. Анализируйте все изменения.

Я убежден, что если анализировать все изменения от самого начала жизненного цикла продукта до его текущего состояния, вы сможете лучше понять ваш проект, ваших пользователей, структуру вашего дохода. Поэтому я рекомендую анализировать все изменения, вести лог анализа каждой вышедшей фичи, чтобы впоследствии принимать более точные, взвешенные и финансово оправданные решения.

Рано или поздно вы начнёте замечать, что некоторые изменения в продукте сильно повышают доход и сопутствующие метрики, а некоторые не приносят ничего. Впоследствии вы сможете точнее прогнозировать доход от каждой новой фичи, сопоставляя её с предыдущими аналогами.

Уместно будет вспомнить теорему Байеса. Погрузившись в неё и в байесовские методы достаточно глубоко, вы осознаете две новости, хорошую и плохую.

  • Хорошая. Если учесть все “но” при формировании прогноза дохода, то прогноз станет гораздо точнее.
  • Плохая. Все “но” учесть невозможно.

Но отчаиваться не стоит, а стоит учитывать те факторы, которые вы можете выделить и формализовать. Набор факторов будет расти, будет расти и сложность прогноза, но вместе с тем повысится и его точность.

 Допустим, вы делаете прогноз на результат футбольного матча. Сначала вы просто даёте эмоциональную оценку: “Барселона” выиграет у “Реала” со счётом 3-0. “Барселона” почему-то не выигрывает, и вы начинаете анализировать. Прогноз состоит из множества факторов: текущее положение команд в таблице, история их встреч, фактор хозяев поля, травмированные игроки, мотивация в чемпионате и так далее. Со временем ваши прогнозы, основанные на большем количестве факторов, станут пусть немного, но точнее. По сути, вы сами обучаете свою нейросеть: анализируя ошибки и разбирая их подробнее, вы добавляете к прогнозу всё больше факторов и постепенно повышаете его точность.

 

Одно из множества превью к el clasico, матчу “Барселоны” и “Реала”

Важно понять, что прогнозирование – процесс итеративный. Делая прогнозы, оценивая и разбирая их, вы учитесь прогнозировать, глубже погружаетесь в предметную область, становитесь экспертом.

Совет 8. Комбинируйте методы.

Если бы эта статья была тестом, то правильным ответом было бы “всё вышеперечисленное”.

Комбинаций можно придумать очень много, и я не хочу вас ограничивать. Лишь опишу ту комбинацию, которую применяю я, которой я доволен:

  • прогнозируете отдельно аудиторию и ARPU:
    • используете методы временных рядов;
    • прогноз по аудитории корректируете исходя из данных о вливаниях трафика;
    • прогноз по ARPU корректируете исходя из планируемых изменений в продукте (на основании экспертной оценки);
  • перемножая прогнозы по аудитории и ARPU, вы получаете прогноз по доходу;
  • его также можно скорректировать на основании экспертной оценки планируемых изменений (с учётом того, что все изменения анализируются в деталях), а также на основании кастомной модели перетока от месяца к месяцу.

Надеюсь, мои советы помогут вам сделать ваши прогнозы точнее. Желаю вам, чтобы вы точно предсказывали будущее значение дохода, а сам он только лишь рос.

P.S.

И последним, девятым советом я хочу порекомендовать несколько интересных книг на тему:

  • Нейт Сильвер “Сигнал и шум”. Здесь как раз можно подробно прочитать о байесовском подходе к прогнозированию и ознакомиться с огромным количеством примеров, от бейсбола до политики. В своё время я описал свои размышления по поводу этой книги в отдельной статье.
  • Эрик Сигель “Просчитать будущее”. С теоретической точки зрения эта книга менее интересна, чем “Сигнал и шум”, но мне она нравится своими примерами. Подзаголовок книги гласит: “кто кликнет, купит, соврёт или умрёт”, и поверьте, в книге все эти примеры расписаны очень подробно.
  • Василий Сабиров “How to analyze the promotional activities in games”. Скромно порекомендую и свою книгу тоже. И пусть вас не смущают ни promotional activities, ни games в названии: в книге в деталях изложен процесс анализа изменений в продукте. Вспомним совет 7 из статьи: чем точнее вы анализируете изменения, тем точнее вы предсказываете будущий доход.
Комментарии
Если вы нашли опечатку - выделите ее и нажмите Ctrl + Enter! Для связи с нами вы можете использовать info@apptractor.ru.
Advertisement
Click to comment

You must be logged in to post a comment Login

Leave a Reply

Аналитика пользователей

Готовы ли к сезону распродаж?

Как подготовиться к распродажам, полагаясь на данные прошлого года? Рассказывает Шани Розенфельдер — руководитель контент-отдела в компании AppsFlyer.

AppTractor

Опубликовано

/

Автор:

Готовы ли вы к сезону распродаж? Надеемся, что да, ведь, например, в США, по данным eMarketer, продажи могут вырасти аж на 16,6 процента из-за предновогодних скидок (и 3/5 от этих покупок будут сделаны с помощью смартфонов). Раз на карту поставлены большие деньги, готовиться просто необходимо.

Чтобы помочь вам, мы вытащили некоторые данные по тому же периоду в 2016 году, так как это один из самых действенных способов подготовиться к сезону распродаж. В целом, мы отсмотрели 95 миллионов установок 130 приложений для покупок, в которых было совершено около 22 миллионов внутренних покупок на общую сумму в 450 миллионов долларов.

У нас есть данные по:

  • Привлечению пользователей
  • Покупательской активности
  • Средней выручке с покупки
  • Долям пользователей, совершивших покупки

Поэтому перейдем к деталям:

1. Неорганические установки приложений и внутренние покупки

О чем нам говорит этот график по Android?

Пиковая неделя четвертого квартала — это ноябрьские распродажи. В недели Черной пятницы и Киберпонедельника, мы обнаружили 46-процентное повышение покупательной активности, в сравнении с октябрем (смотрим на внутренние покупки) и на 19% выше, чем в декабре (если вас интересует разбиение по конкретным дням — смотрите график выше)
Очевидно, что маркетологи решили масштабировать свои кампании перед Хеллоуином и продолжали вплоть до Рождественской недели. В целом, если мы сравним активность установок до Хеллоуина и после (до Рождественской недели), в последний период она выше на 18%.

Также обратите внимание на установки после Рождества: просто представьте, как множество пользователей устанавливают новые приложения на новые смартфоны, купленные или полученные в подарок. По факту, в первые недели января установок на 31% больше, даже в сравнении с самыми эффективными неделями ноября (Черной пятницей и Киберпонедельником).

Новогодние праздники тоже показали пик покупательской активности в первую неделю января — результаты почти такие же высокие, как в Киберпонедельник (всего на 3% ниже).

Давайте теперь рассмотрим iOS:

Рост покупательской активности достигает пика в Киберпонедельник, да такого, что в эти ноябрьские недели покупок на 70% больше, чем в октябре в целом, и на 31% больше, чем за декабрь.

Активность по привлечению пользователей значительно вырастает в течение 2 недель перед Черной Пятницей — она повышается на 44% в сравнении с предыдущими неделями четвертого квартала.

Мы также можем видеть прилив установок после Рождества (благодаря все тем же новым купленным в подарок смартфонам). Первая неделя января показывает результат по установкам на 33% выше, чем период перед Черной Пятницей.

Покупательская активность растет перед Рождеством, и в Новогодний сезон продажи растут на 26% в сравнении с Рождественской неделей и на 30% в сравнении с октябрем.

2. Пиковый период установок и внутренних покупок – сравненивам по дням

Если посмотреть на количество установок по дням, то можно заметить, что в Черную Пятницу покупок было на 3% больше, а установок на 16% больше, чем в Киберпонедельник. Можете сравнить с Днем благодарения, который вообще никаких результатов не показал.

На iOS же мы видим прорыв в Киберпонедельник по покупкам (на 9% выше, чем в Черную Пятницу), но «Пятница» показывает результат по установкам на 12% выше. День Благодарения — не лучше, чем на Android.

3. Органические установки в течение четвертого квартала

Результат по органическим установкам не сказать, что удивительный. Интересно лишь, что в пиковую неделю перед Черной пятницей приложения для покупок ставили чаще, чем в среднем по четвертому кварталу, на 25% с iOS и 16% c Android.

4. Средняя прибыль с покупки

Что касается прибыли, то здесь iOS обгоняет Android по среднему размеру покупки, равному 24.3$, что на 41% выше “андройдовских” 17,3$.

Конец ноября показал рост не только по объему покупательской активности, но и по количеству потраченных денег (пользователи iOS потратили на 58, а пользователи Android — на 66 процентов больше, чем в другие недели четвертого квартала).

Также мы можем видеть, что корзина пользователей iOS относительно неизменилась в течение всего периода (включая недели Черной Пятницы и Киберпонедельника), тогда как средняя трата на Android разнится от небольших трат в начале 4 квартала (на 46% ниже, чем в ноябре) до пика в декабре, перед Рождеством.

5. Доля пользователей, готовых платить

Мы хотели проверить связь между периодом, когда пользователи были привлечены, и их качествами, в частности, зависит ли их покупательская активность от их времени привлечения. Поэтому мы сосредоточились на 5 когортах пользователей: пользователи первой половины июля, первой половины ноября, пикового периода — второй половины ноября, Черной Пятницы и Киберпонедельника и первой половины января.

Июльская группа дана как нейтральная для сравнения с пиковыми показателями ноября и января.

Мы видим, что пользователи, установившие приложения прямо перед Черной Пятницей и Киберпонедельником с большей вероятностью покупали что-то в пиковые периоды (на 91% больше покупок, чем у июльских). Те же, что установили приложения в Черную Пятницу и Киберпонедельник на 42% реже делали покупки в этот день. А установившие приложения в начале января показывают высокую вероятность покупок в течение всего месяца.

Пик в середине ноября принес на 140% больше покупателей, чем Черная Пятница и Киберпонедельник.

Пользователи iOS, установившие приложения перед Черной Пятницей и Киберпонедельником, с большей вероятностью делали покупки в пиковый период (на 77% выше, чем установившие приложения в июле). Вероятность покупок у тех, кто установил такие приложения прям в день Черной Пятницы и Киберпонедельника, была ниже на 59%. Что же касается Android, пиковый период принес на 147% больше пользователей, готовых совершать покупки, чем Черная Пятница и Киберпонедельник.

Итак, что все это означает для маркетологов, запускающих кампании в это время?

1. Конец ноября — время бешеного шопинга. В это время люди покупают часто и тратят много. Чтобы использовать весь потенциал этих дней, необходимо:

  • Привлекать пользователей задолго до самого пикового периода. Чем больше у вас данных, тем лучше можно настроить сегментацию пользователей. Ведь это вдвойне окупится во время кампаний по повторному вовлечению (ретаргетинг, пуши, рассылки).
  • Привлечение пользователей прям перед распродажами. Пусть у вас будет не так много данных для тщательной сегментации, но наши данные показывают, что в это время у вас велики шансы найти именно тех пользователей, которые сами ищут, на что бы потратить деньги.
  • Привлечение пользователей во время распродаж. Может результат будет и ниже, чем в ноябре, но исходя из наших данных, он в среднем выше, чем в другие времена года.

2. Новогодние распродажи — не время опускать руки. Рост установок с новых телефонов и продолжающиеся скидки шепчут, что не стоит прерывать работу по привлечению пользователей или повторному их вовлечению. И это важно, несмотря на то, что средняя стоимость покупки в этот период ниже, чем в конце ноября

3. Всегда следите за ставками. Так как кампании по привлечению пользователей показывают высокие показатели, то и их стоимость будет расти. Но это оправдано, ведь прибыль в эти дни значительно выше. Главное, будьте начеку и будьте максимально проворным, чтобы максимизировать показатели ROI.

4. Используйте несколько медиа-источников для гибкости. Это даст вам пространство для маневров, своевременной оптимизации кампаний и позволит заплатить меньше при максимальном ROI. Увеличивая охват, вы увеличиваете шансы найти новых подходящих пользователей и повысить уровень конверсий. Главное, убедитесь, что ваши медиа-партнеры могут предоставить точный таргетинг, чтобы не навредить уровню конверсий.

5. Ну и наслаждайтесь моментом. И в январе вас будет ждать заслуженный отдых.

Источник: https://www.appsflyer.com/blog/2017-holiday-season-prep-data-learnings-from-q4-2016/

Комментарии
Продолжить чтение

Аналитика пользователей

Как выбрать правильные метрики для продукта

Анна Булдакова, продакт Intercom и ведущая канала No Flame No Game, разобрала популярную статью Кэрри Родден из Google и объяснила, как стоит подходить к продуктовым метрикам.

AppTractor

Опубликовано

/

Автор:

Какое-то время назад все активно начали делиться вот этой статьей от UX-исследователя в Google Ventures про то, как выбрать правильные UX метрики для продукта. Статья крутая, но после практического использования возникают вопросы: поэтому ловите вольный перевод (в кавычках) и мои комментарии к нему.

В процессе дизайна можно полагаться на пользовательские данные и на результаты экспериментов. Это то, что сейчас называется data-driven design, но я предпочитаю термин data-informed design — “рулит” все еще дизайнер, а не данные.

Чтобы это работало на практике, надо смотреть на правильные метрики. Базовые цифры по трафику (количество просмотров страницы или количество уникальных пользователей, к примеру) легко отслеживать; они дают неплохое понимание, как поживает ваш сайт; но часто они совершенно бесполезны для оценки UX-изменений. Все потому, что они слишком общие и напрямую не отражают качество продукта или цели проекта — на их основе сложно понять, что делать дальше.

Я работаю UX-исследователем в Google, и мы разработали несколько полезных фреймворков для определения и выбора метрик, отражающих:

  • качество user experience (HEART);
  • цели вашего продукта или проекта (Цели-Сигналы-Метрики).

Во-первых, да, data-informed. INFORMED by data, not driven. Сначала стратегия и цели, затем метрики. Сначала гипотеза и, опять же, цели, затем эксперимент. Накручивать циферки только ради циферок можно очень долго и очень успешно, только продукт от этого лучше не станет.

Во-вторых, да, на “базовые метрики” смотреть бесполезно. Ну поверьте, нет такой волшебной пилюли, которая работала бы для всех. Безусловно, у вашего продукта могут трекаться такие же метрики, как и других продуктов: те же DAU, Retention, ARPU и прочие. Но вот вопрос, какие из них будут для вас более важны, а какие — менее. Условно говоря, приложение, которое отправляет сигнал SOS в ближайшую службу спасения, вряд ли будет смотреть на Retention.

В-третьих, какая-то повальная путаница с тем, что считать метриками продукта, что — метриками проекта, а где вообще продакт маркетинг затесался. По сути все просто: вот у нас есть продукт, которым можно как-то пользоваться. То, что происходит до начала использования, относится к продакт-маркетингу; то, что происходит во время, к продукту. Проект (~фича) — это гипотеза внутри продукта; соответственно, на высоком уровне успех проекта определяется метриками продукта, но также имеет и собственные “технические” метрики, которые позволят понять, все ли работает хорошо, не сломалось ли чего.

И есть еще отдельная группа метрик для исследований (время выполнения заданий или как раз Task Success, о которой говорится в статье), которые позволяют сделать количественные выводы для usability тестов. Ну это так, для общей картины ;)

Возвращаясь к моей любимой медицинской аналогии:

  • Представьте, что вы пришли на прием ко врачу. А он такой померил у вас температуру, взял анализ крови, отправил на УЗИ, а потом говорит: ну да, температура у вас низковата, давайте я вам таблетки пропишу.
  • А потом оказалось, что просто градусник сломался, а у вас и не болело ничего.
  • Или болело колено, а вас лечат от низкой температуры — потому что ниже среднего по больнице, и вообще: сказали, что у всех надо мерить температуру, значит надо мерить!

Happiness — Счастье

Помогая гугловым командам с UX метриками, мы заметили, что наши предложения обычно попадают в какую-то из 5 категорий:

H — Happiness (Счастье). Измеряет отношение пользователя, часто через опросы. Примеры метрик: удовлетворение, воспринимаемая легкость использования и NPS.

Насколько все компании хотели бы улучшать счастье пользователя, настолько же они не знают, как его считать: эмоции — не так легко измеряемая штука, как DAU, например. Вопрос в том, нужно ли это на уровне продукта.

Я пользуюсь Spotify каждый день. Я счастливый пользователь? На мой взгляд, это такой же странный вопрос, как — вот вы пользуетесь молотком, вы счастливый пользователь молотка? Эмоции — это про бренд, про историю (которой, к слову, занимается маркетинг); продукт — про решение задачи, про ценность. Пользователи могут питать какие-то чувства к Яндексу или к Гуглу, но не к поисковому движку как таковому — тут у них сугубо рациональный подход.

Опять же, если мы разрабатываем фичу (это метрики проекта, упомянули их в предыдущем посте), то должны думать о метриках продукта — и тут тот же NPS, к примеру, совершенно бесполезен: замерить таким способом влияние отдельно взятой фичи практически невозможно.

Другое дело, если мы спросим: а извлекает ли юзер какую-то пользу из нашего продукта? Концепт ценности (vs счастья) также отлично подходит и для приоритезации новых фич.

Как определить ценность? Идите от обратного: спросите себя — если мы представим идеального пользователя, который получает максимальную пользу от продукта, что он делает?

  • Если это Spotify, возможно, он слушает музыку > n минут в день.
  • Если это Uber, возможно, он делает n-ное количество поездок за определенный период.
  • Если это Slack, возможно, он пригласил n коллег в чат.

По сути, это называется “активация”: первый момент во время использования продукта, когда пользователь извлекает ценность. Важно, что пользователь вполне может и не осознать этот момент

И последнее, что я повторяю из раза в раз: начинать надо не с метрики, а с цели, а в данном контексте — с определения пользы. Если Uber определяет свою пользу в том, чтобы сделать более удобную и сравнимую по цене замену общественному транспорту, это одно. Если они думают про сокращение использования автомобилей на человека, это другое. И, к слову, польза Uber для водителя и для пассажира будет звучать по-разному.

Engagement — Вовлеченность

E — Engagement (Вовлеченность): уровень вовлечённости пользователя, часто измеряется через поведенческие прокси, такие как частота, интенсивность и глубина взаимодействия за какой-то период. Примеры могут включать количество посещений на пользователя за неделю или количество фото, которые пользователь загружает ежедневно.

По сути, engagement — это логическое продолжение активации (о которой мы говорили в прошлый раз): ответ на вопрос, а продолжают ли пользователи получать пользу от продукта? Условно говоря, пользователь Slack пригласил 10 коллег, что подскажет нам, что они все заинтересованы в продукте?

Например, вот такие engagement метрики:

  • количество времени, проведённое в чате, на пользователя
  • количество активных каналов
  • количество директ-сообщений на пользователя

и так далее.

Engagement метрики прекрасны и для определения успешности проекта:

  • в случае customer-facing фич engagement должен остаться на том же уровне (при условии улучшения других метрик) или вырасти
  • в случае инфраструктурных изменений engagement должен остаться на том же уровне.

В чем отличие между активацией и вовлеченностью?

Активация — это конкретный момент в «путешествии» пользователя. Соответственно, нас интересует количество людей, дошедших до этой точки, и как это количество можно увеличить. Вот мы упомянули в качестве активации для Spotify n минут прослушивания музыки в день. Как это определяется? Spotify выбрал пользователей, которые успешны в их понимании: например, они платящие, они пользуются продуктом уже несколько лет, они оставляют высокие оценки в сторе. Если сравнить их с неуспешными пользователями, было ли какое-то действие, которое они совершили? И, соответственно, дальше — если мы подведём неуспешных пользователей к этому действию, станут ли они успешными?

Вовлечённость — это, собственно, само путешествие; флажки, которые показывают, насколько хорошо функционирует продукт.

Adoption — Принятие

Adoption (Принятие): новые пользователи продукта или фичи. Например: количество аккаунтов, созданных за последние 7 дней, или процент пользователей Gmail, которые используют лейблы.

А вот здесь надо снова вернуться к метрикам маркетинга vs метрики продукта. Adoption как раз прекрасный пример метрики, которая где-то на стыке.

Может ли улучшение качества продукта или новая крутая фича увеличить количество новых пользователей? Может. Может ли рекламная кампания или пост в блоге увеличить количество регистраций? Может.

В моей практике второе случалось чаще, чем первое; вполне возможно, что из-за специфики продуктов, с которыми я работала. Ещё один немаловажный фактор, почему я все же больше отношу эту метрику к маркетингу, — это пользовательская привычка. Очень небольшое количество людей регулярно проверяет, как там обновился ваш продукт, особенно если они уже используют конкурента и создали вокруг него какой-то процесс (например, когда я иду на работу, слушаю подкасты в Spotify) или, что ещё хуже для вас, добавили свою персональную информацию (например, когда я делаю фото на телефон, загружаю их в iCloud). Чем дольше пользователь использует продукт, тем, вероятно, выше для него будет цена переключения. Таким образом, чтобы заставить пользователя перейти к вам, нужно либо чтобы у конкурента был видимый недостаток, которого у вас нет, либо у вас должна быть киллер-фича, которой нет у конкурента. В обоих случаях это предполагает два варианта:

  1. Пользователю вроде как все нравится, потому что он не знает, как может быть лучше — маркетинг его информирует об альтернативах.
  2. Пользователь недоволен текущим решением и пользуется им, потому что не видит/не нашел лучших вариантов — опять же, нужно ему о них рассказать с помощью маркетинговых инструментов.

Безусловно, есть ещё фактор сарафанного радио, когда пользователи в восторге от продукта и делятся рекомендациями с друзьями. Но, на мой взгляд, с точки зрения продукта это лучше отражается тремя другими метриками:

  • activation (осознал ли пользователь ценность продукта)
  • engagement (продолжает ли он получать пользу)
  • retention.

Retention — Удержание

Retention (Удержание): процент пользователей, возвращающихся в продукт. Например: как много активных пользователей в выбранный момент все ещё пользуются продуктом в более поздний момент? Возможно, вам даже больше будет интересна обратная метрика, где удержать пользователей не удалось, — отток или churn.

Тут мало что можно добавить: retention для большей части сервисов — одна из важнейших продуктовых метрик. В моей практике retention + engagement определяли успех продукта или фичи и наиболее точно соответствовали ценности, которую получает пользователь.

Churn не работает на уровне фичи, но, наверное, будет самым громким звоночком, что с продуктом что-то не так. Понятно, что будет часть пользователей, которая будет утекать по естественным причинам; нам же наиболее интересны прошедшие активацию пользователи, которые решили уйти.

Task success — Успех в выполнении задания

Task success (Успех в выполнении задания): включает в себя традиционные поведенческие UX метрики, например, оперативность (пример — время на выполнение задания), эффективность (процент выполненных заданий) и процент ошибок. Эта категория наиболее применима к части продукта, ориентированной на выполнение задачи: например, поиск или процесс загрузки.

Пример метрики, которая отлично работает для UX-исследований, но, на мой взгляд, не особо хорошо подходит в качестве продуктовой. Перечисленные выше примеры, скорее, относятся к техническим метрикам или метрикам “здоровья продукта”, и это совсем другая категория.

Возьмем, к примеру, яндексовый поиск. Да, можно улучшить время ответа, но при этом найти трешовые или нерелевантные результаты, которые не принесут пользы юзеру. Из этого следуют 2 вывода:

  • технические метрики на уровне продукта или сервиса надо рассматривать с учетом пользовательских метрик
  • технические метрики показывают эффективность продукта, но далеко не всегда — его ценность и качество.

За технические метрики обычно отвечает не PM, а разработчики или технический менеджер. Улучшают их чаще всего по одной из двух причин:

  1. Есть определенный стандарт в индустрии, которого надо достичь, чтобы быть конкурентоспособным. Например, если вы делаете поиск, ваше время ответа ну никак не может быть 1 минута.
  2. Текущие лимиты ограничивают возможности компании для роста.

Следующий фрагмент будет без моих комментариев; но, думаю, вы и так поймете, где там противоречащие друг другу куски ;)

Эти метрики можно применять на разных уровнях — от всего продукта до конкретной фичи. Например, в Gmail мы можем быть заинтересованы как в adoption продукта в целом, так и в adoption ключевых фич (например, лейблов или архивирования).

Нас часто спрашивают: “Зачем измерять adoption или retention, когда ты просто можешь посчитать уникальных пользователей?”. Безусловно, важно понимать, сколько пользователей к вам приходит за определенный период (например, активные пользователи за 7 дней). Но если вы также измеряете adoption и retention, вы точно отделите новых пользователей от возвращающихся и сможете быстро понять, растет ли ваша аудитория. Это особенно важно для новых продуктов или фич, или для редизайна.

Необязательно создавать метрики во всех из этих категорий — вы можете выбрать только те, которые наиболее важны для вашего проекта. Фреймворк HEART может помочь вам решить, какая из категорий вам нужна. Например, в бизнес-продуктах, которыми пользователи, возможно, пользуются ежедневно и где они интегрированы в рабочий процесс, может быть бессмысленно мерять вовлеченность, зато может быть интереснее сосредоточиться на счастье пользователя или на task success. Как бы то ни было, может быть полезно учитывать engagement на уровне определенных фич, как индикатор их полезности.

Мы применяли фреймворк HEART к широкому спектру проектов в Google и считаем, что это очень полезный инструмент, чтобы направить обсуждение с командой в нужное русло. Акроним хорошо запоминается; его можно использовать для фасилитации встреч, просто обозначая категории на доске.

Цели — Сигналы — Метрики

Итак, как же перейти от HEART категорий к метрикам, которые вы можете внедрить и трекать? К сожалению, нет готового HEART дашборда, который магически за вас это сделает, — наиболее вероятно, что самые полезные метрики будут специфичны для вашего продукта или проекта.

Цели

Порой хочется начать думать о метриках, просто составляя длинный лист, но он быстро может стать громоздким и неудобным в приоритезации. В идеале вам нужен небольшой сет ключевых метрик, которые важны для всех членов команды. Чтобы понять, что это за метрики, надо начать на уровень выше: определить цели, а потом уже выбрать метрики, которые помогут вам измерять прогресс по выполнению этих целей.

Порой может быть удивительно сложно сформулировать цели проекта, и в этот момент полезно использовать для дискуссии категории метрик HEART. В YouTube, к примеру, одна из наиболее важных целей относится к категории Engagement: мы хотим, чтобы пользователи наслаждались видео, которые они смотрят, и продолжали открывать больше видео и каналов, которые они хотели бы посмотреть. У вас могут быть разные цели для определенного проекта или фичи — и для продукта в целом. Для YouTube Поиска ключевая цель относится к Task Success категории: когда пользователь вводит запрос, мы хотим, чтобы он быстро и легко нашел наиболее релевантные видео или каналы.

Частая ловушка — определять цели в рамках ваших существующих метрик: например, “наша цель увеличить трафик на сайт”. Да, каждый хочет это сделать, но как UX-улучшения помогут вам в этом? Хотите ли вы увеличить вовлеченность существующих пользователей или привлечь новых?

Вы можете не осознавать, что у разных членов вашей команды могут быть разные представления о целях вашего проекта. Этот процесс предоставляет возможность достичь соглашения о том, в каком направлении вы движетесь.

Сигналы

Следующий шаг — привязать цели к более низкоуровневым сигналам. Как успех или провал в достижении целей может проявить себя в пользовательском поведении или отношении? Например, сигналом вовлеченности для YouTube может быть количество видео, просмотренных пользователем, а еще лучше — время, потраченное на просмотр видео. Сигналом провала в Task Sucess категории для YouTube Search может быть запрос, по которому не было ни одного клика на результаты.

Обычно есть большое количество потенциально полезных сигналов для конкретной цели. Как только вы набросаете какое-то количество “кандидатов”, остановитесь и проведите небольшое исследование.

Во-первых, насколько легко трекать каждый сигнал? Будут ли логироваться нужные действия в продукте, или можно ли это сделать? Можете ли вы выкатывать опросы на постоянной основе? Для Task Success метрик одна из опций — использовать задания в benchmarking исследовании, которые можно проводить с большим количеством участников.

Во-вторых, выбирайте сигналы, которые будут чувствительны к изменениям в вашем дизайне. Если вы уже собираете потенциально полезные сигналы, вы можете проанализировать имеющиеся данные и попытаться понять, какие сигналы будут точнее всего предсказывать достижение соответствующей цели.

Метрики

Сигналы, которые вы выбрали, можно уточнить и превратить в метрики, которые вы будете трекать в динамике или использовать для сравнения в экспериментах. В примере с вовлеченностью в YouTube мы могли бы внедрить сигнал “как долго пользователи смотрят видео” как метрику “среднее количество минут, потраченное на просмотр видео, на пользователя в день”.

Специфика сильно зависит от вашей инфраструктуры. Но, как и на предыдущем шаге, есть множество метрик, которые можно вывести из определенного сигнала, — вам надо будет проанализировать данные и решить, какие будут для вас наиболее полезны. Возможно, вам также надо будет нормализовать сырые числа и использовать среднее или проценты, чтобы сделать их более “говорящими”.

Процесс Цели-Сигналы-Метрики должен привести к приоритезации метрик — важно трекать метрики, которые относятся к вашим ключевым целям. Не добавляйте просто “интересные цифры” в ваш список. Помогут ли они вам принять решение? Нужно ли вам трекать их в динамике, или достаточно одного измерения? Фокусируйтесь на метриках, которые относятся к вашим целям, чтобы избежать затрат на их внедрение и засорения дашборда.

Если вы хотите, чтобы ваш продуктовый дизайн информировался данными, подумайте над метриками, которые отражают качество user experience, и свяжите их с вашими основными целями.

Джон Белл (Twitter): будущее дизайна уже наступило, и оно связано с данными

Комментарии
Продолжить чтение

Аналитика пользователей

Tapjoy исследовал поведение игроков в новогодние праздники

Tapjoy в новом отчете описывает то, как пользователи играют во время новогодних каникул.

Леонид Боголюбов

Опубликовано

/

Ключевые факты:

  • 80% мобильных игроков играют больше. 30% говорит о 3 и более дополнительных часах, 11% о 5 и более.
  • 72% скачивает новые игры. У 31% это 2-4 новые игры, еще у 12% это 5 или более.
  • Самые популярные новогодние жанры – Экшен, Логические/Головоломки/Паззлы и Приключения.
  • Мужчины предпочитают Экшен, женщины – Логические.
  • 57% с большим удовольствием смотрит вознаграждающее видео во время праздников.
  • Просмотр вознаграждающего видео – самая популярная рекламная активность у пользователей в обмен на получение внутриигровых предметов. На втором месте – опросы и исследования, на третьем – скачивание новых приложений.
  • Из рекламных тем больше всего интересует кино, другие приложения и шоппинг.
Комментарии
Продолжить чтение

BaaS

Google запускает Firebase Predictions для предиктивной аналитики пользователей

Вчера на Firebase Dev Summit компания Google анонсировала несколько новых функций платформы. Одна из них – предиктивная аналитика Firebase Prediction.

Леонид Боголюбов

Опубликовано

/

Вчера на Firebase Dev Summit компания Google анонсировала несколько новых функций платформы. Одна из них – предиктивная аналитика Firebase Prediction.

По текущим действиям пользователей  Firebase Prediction может с определенной точностью предсказать:

  • Пользователей, которые откажутся от приложений в ближайшие 7 дней
  • Пользователей, которые продолжат пользоваться приложением
  • Пользователей, которые потратят деньги
  • Которые не потратят деньги в ближайшие 7 дней

Используя эти данные, можно, например, при помощи Remote Config обращаться к целевым пользователям с таргетированной рекламой или предложениями.

Firebase Predictions также работает с любыми событиями конверсии Analytics, позволяя сегментировать пользователей в самых широких пределах.

Например, если вы знаете, что игроки, дошедшие до определенного уровня, остаются в игре на продолжительное время, то можно взять этот показатель за точку отсчета и с помощью Firebase Predictions предсказать, кто дойдет до него, а кто нет. Для тех, кто не дойдет, уменьшить сложность.

Так, в тестах с Halfbrick Studios платформа смогла увеличить возвраты 7 дня на 20%.

Комментарии
Продолжить чтение

Наша рассылка

Каждому подписавшемуся - "1 час на UI аудит": бесплатный ускоренный курс для разработчиков веб и мобильных приложений!

Нажимая на кнопку "Подписаться" вы даете согласие на обработку персональных данных.

Популярное

X

Спасибо!

Теперь редакторы в курсе.