Метрики могут быть невероятно эффективными. Но у вас их слишком много.
Давайте поговорим о том, как и когда использовать метрики.
Золотое правило
Золотое правило метрик заключается в следующем: любая метрика, которую вы используете, должна напрямую стимулировать действия, если она выходит за ожидаемые пределы.
Это правило важно, потому что:
- Настройка метрик требует больших затрат, поэтому, если вы их не используете, вы тратите силы впустую.
- Поддержка метрик требует больших затрат, поэтому, если вы их не используете, вы тратите силы впустую.
- Метрика, которая не стимулирует действия, — это пустая трата времени.
Прямое следствие: поскольку стоимость настройки, поддержки и использования метрик высока, их не должно быть слишком много.
Давайте поговорим о настройке метрик и о том, как их использовать, а также о том, как их не использовать.
Использование метрик
Настройка
Настройка метрики требует времени. Вам необходимо:
- Получить данные;
- Связать их с UI;
- Мониторинг, чтобы убедиться в их корректности и отсутствии колебаний
В зависимости от вашей компании и метрики, это может занять от пары часов до пары месяцев работы с несколькими тикетами. Некоторые инструменты предоставляют определённые метрики по умолчанию, но это тоже не бесплатно (вы за это платите).
Вывод заключается в том, что настройка метрик требует времени и денег.
Использование метрик
Хорошие метрики:
- Регулярно проверяются
- Имеют ожидаемое поведение
- Определяют приоритетные действий, если метрика не соответствует ожиданиям
Регулярно проверяются
Регулярный просмотр метрик критически важен, поскольку любая метрика, которую вы не проверяете регулярно, со временем станет неточной.
Многие возвращаются к метрике через год после её настройки и понимают, что она выглядит не совсем корректно. Проведя расследование, они обнаруживают, что неделю назад кто-то изменил определение в промежуточном программном обеспечении, и начался двойной счёт. Такое случается постоянно. Самый неприятный случай — когда метрика выглядит так, будто всё работает хорошо, но на самом деле она завышает данные и возникают проблемы.
Регулярный просмотр позволяет тщательно изучить значение метрики и сопоставить его с другой информацией, чтобы убедиться в её корректности. В качестве общего ориентира можно ожидать, что примерно раз в год в метрике будут обнаруживаться неполадки, требующие исправлений.
Ожидаемое поведение
Метрики без ожиданий — всего лишь повод для сплетен.
Некоторые метрики имеют значение, только если их изменение превышает 10%. Другие имеют значение, если они отклоняются от цели на 0.1%.
Чётко сформулируйте свои ожидания от метрики и условия для действий в том или ином направлении. В противном случае анализ метрик превратится в долгое упражнение по осознанию того, что люди не понимают, что важно.
Определение действий
Если метрика выходит за рамки определённых ожиданий, необходимо принять меры. Это самая большая цена поддержания метрик — вам действительно придётся что-то делать, если метрики указывают на то, чего вы, как вы говорили, не хотели.
Слишком много людей держат на панели 25 метрик и ничего не делают. Они просто возвращаются к тому же бэклогу, над которым работали, и откладывают блестящие метрики для презентаций, когда им нужно кого-то в чём-то убедить.
Метрики должны иметь ожидания. Если эти ожидания не оправдываются, необходимо принять меры.
Примеры
Давайте рассмотрим пару примеров.
Амбициозный менеджер проекта
У амбициозного менеджера проекта есть множество метрик на дашборде. Он использует их, например, для оценки эффективности работы своей команды, для запроса повышения зарплаты и выделения дополнительных ресурсов.
Проблема в том, что проверяются эти метрики только при подготовке к этим действиям. На самом деле, у них нет регулярного анализа, нет ответственного и нет чётких ожиданий относительно того, какими они должны быть, а какими не должны быть.
Но однажды начальник менеджера проекта просыпается и говорит: «Подождите, что-то не совсем так». И вот тут выясняется, что используемые данные не только неверны, но даже если они и были верны, вся концепция надлежащего роста не была согласована. Таким образом, все эти метрики за всё время своего существования были более чем бесполезны.
Вместо того, чтобы показывать микрокогорту CSAT для 7 различных профилей клиентов по 3 продуктам, их менеджеру следовало бы запросить одну или две метрики и регулярно их анализировать, четко определяя ожидаемый рост (а не просто «вверх и вправо» — это хорошо).
Анализ затрат
В компаниях принято регулярно анализировать затраты на инфраструктуру совместно с финансовым отделом. Зачастую эти процессы верны в двух аспектах: они анализируют метрики, и у каждого элемента инфраструктуры есть свой владелец. Однако распространенная ошибка заключается в том, что мы не обсуждаем, что на самом деле хорошо, а что плохо.
Когда нам действительно нужно что-то делать с определенным изменением затрат?
Этот вопрос часто не задают, поэтому люди обсуждают незначительные колебания затрат и не понимают, нужны ли какие-либо изменения. Простой ответ — заключить рабочее соглашение: мы проверим затраты, чтобы убедиться, что все в них обосновано, но будем действовать только в том случае, если они превышают квартальный прогноз более чем на 2% или годовой прогноз более чем на 5%. И если он выше этого значения, необходимо приложить усилия для его снижения.
Согласно этому соглашению, вы получаете эффективность, когда действия не требуются, и чёткую ясность, когда они необходимы.
Резюме
Наличие нескольких отличных метрик гораздо лучше, чем кучи бесполезных. Метрики требуют пристального внимания для обеспечения точности и высокой достоверности. Метрики требуют ожиданий и действий, чтобы оправдать все время, затрачиваемое на их точность и высокую достоверность.
Если кто-то говорит: «У меня есть метрики», спросите его, когда он в последний раз делал что-то благодаря метрике. Если он не сразу ответит, значит, у него нет метрик, а есть дашборд, который он использует, чтобы убеждать людей и успокаивать себя.