У вас слишком много метрик

Метрики могут быть невероятно эффективными. Но у вас их слишком много.

Давайте поговорим о том, как и когда использовать метрики.

Золотое правило

Золотое правило метрик заключается в следующем: любая метрика, которую вы используете, должна напрямую стимулировать действия, если она выходит за ожидаемые пределы.

Это правило важно, потому что:

• Настройка метрик требует больших затрат, поэтому, если вы их не используете, вы тратите силы впустую.
• Поддержка метрик требует больших затрат, поэтому, если вы их не используете, вы тратите силы впустую.
• Метрика, которая не стимулирует действия, — это пустая трата времени.

Прямое следствие: поскольку стоимость настройки, поддержки и использования метрик высока, их не должно быть слишком много.

Давайте поговорим о настройке метрик и о том, как их использовать, а также о том, как их не использовать.

Использование метрик

Настройка

Настройка метрики требует времени. Вам необходимо:

• Получить данные;
• Связать их с UI;
• Мониторинг, чтобы убедиться в их корректности и отсутствии колебаний

В зависимости от вашей компании и метрики, это может занять от пары часов до пары месяцев работы с несколькими тикетами. Некоторые инструменты предоставляют определённые метрики по умолчанию, но это тоже не бесплатно (вы за это платите).

Вывод заключается в том, что настройка метрик требует времени и денег.

Использование метрик

Хорошие метрики:

• Регулярно проверяются
• Имеют ожидаемое поведение
• Определяют приоритетные действий, если метрика не соответствует ожиданиям

Регулярно проверяются

Регулярный просмотр метрик критически важен, поскольку любая метрика, которую вы не проверяете регулярно, со временем станет неточной.

Многие возвращаются к метрике через год после её настройки и понимают, что она выглядит не совсем корректно. Проведя расследование, они обнаруживают, что неделю назад кто-то изменил определение в промежуточном программном обеспечении, и начался двойной счёт. Такое случается постоянно. Самый неприятный случай — когда метрика выглядит так, будто всё работает хорошо, но на самом деле она завышает данные и возникают проблемы.

Регулярный просмотр позволяет тщательно изучить значение метрики и сопоставить его с другой информацией, чтобы убедиться в её корректности. В качестве общего ориентира можно ожидать, что примерно раз в год в метрике будут обнаруживаться неполадки, требующие исправлений.

Ожидаемое поведение

Метрики без ожиданий — всего лишь повод для сплетен.

Некоторые метрики имеют значение, только если их изменение превышает 10%. Другие имеют значение, если они отклоняются от цели на 0.1%.

Чётко сформулируйте свои ожидания от метрики и условия для действий в том или ином направлении. В противном случае анализ метрик превратится в долгое упражнение по осознанию того, что люди не понимают, что важно.

Определение действий

Если метрика выходит за рамки определённых ожиданий, необходимо принять меры. Это самая большая цена поддержания метрик — вам действительно придётся что-то делать, если метрики указывают на то, чего вы, как вы говорили, не хотели.

Слишком много людей держат на панели 25 метрик и ничего не делают. Они просто возвращаются к тому же бэклогу, над которым работали, и откладывают блестящие метрики для презентаций, когда им нужно кого-то в чём-то убедить.

Метрики должны иметь ожидания. Если эти ожидания не оправдываются, необходимо принять меры.

Примеры

Давайте рассмотрим пару примеров.

Амбициозный менеджер проекта

У амбициозного менеджера проекта есть множество метрик на дашборде. Он использует их, например, для оценки эффективности работы своей команды, для запроса повышения зарплаты и выделения дополнительных ресурсов.

Проблема в том, что проверяются эти метрики только при подготовке к этим действиям. На самом деле, у них нет регулярного анализа, нет ответственного и нет чётких ожиданий относительно того, какими они должны быть, а какими не должны быть.

Но однажды начальник менеджера проекта просыпается и говорит: «Подождите, что-то не совсем так». И вот тут выясняется, что используемые данные не только неверны, но даже если они и были верны, вся концепция надлежащего роста не была согласована. Таким образом, все эти метрики за всё время своего существования были более чем бесполезны.

Вместо того, чтобы показывать микрокогорту CSAT для 7 различных профилей клиентов по 3 продуктам, их менеджеру следовало бы запросить одну или две метрики и регулярно их анализировать, четко определяя ожидаемый рост (а не просто «вверх и вправо» — это хорошо).

Анализ затрат

В компаниях принято регулярно анализировать затраты на инфраструктуру совместно с финансовым отделом. Зачастую эти процессы верны в двух аспектах: они анализируют метрики, и у каждого элемента инфраструктуры есть свой владелец. Однако распространенная ошибка заключается в том, что мы не обсуждаем, что на самом деле хорошо, а что плохо.

Когда нам действительно нужно что-то делать с определенным изменением затрат?

Этот вопрос часто не задают, поэтому люди обсуждают незначительные колебания затрат и не понимают, нужны ли какие-либо изменения. Простой ответ — заключить рабочее соглашение: мы проверим затраты, чтобы убедиться, что все в них обосновано, но будем действовать только в том случае, если они превышают квартальный прогноз более чем на 2% или годовой прогноз более чем на 5%. И если он выше этого значения, необходимо приложить усилия для его снижения.

Согласно этому соглашению, вы получаете эффективность, когда действия не требуются, и чёткую ясность, когда они необходимы.

Резюме

Наличие нескольких отличных метрик гораздо лучше, чем кучи бесполезных. Метрики требуют пристального внимания для обеспечения точности и высокой достоверности. Метрики требуют ожиданий и действий, чтобы оправдать все время, затрачиваемое на их точность и высокую достоверность.

Если кто-то говорит: «У меня есть метрики», спросите его, когда он в последний раз делал что-то благодаря метрике. Если он не сразу ответит, значит, у него нет метрик, а есть дашборд, который он использует, чтобы убеждать людей и успокаивать себя.