Почему бенчмарки бесполезны

Брайн Бэлфор, CEO и основатель Reforge, в посте поделился своим мнением по поводу использования эталонных данных — бенчмарков.

Борьба, которую я проигрываю, но буду продолжать… Продуктовые бенчмарки не так уж полезны, а во многих случаях и вовсе разрушительны. Вот 5 причин, почему это так.

1. Медиана — отстой

Если вы — компания, поддерживаемая венчурным фондом, и все ваши показатели находятся на уровне медианы, то вам не стоит радоваться.

Большинство людей смотрят на медиану, но компании, поддерживаемые венчурными фондами, по своей природе стремятся быть отклонением.

2. Ни одна компания не является медианной во всем

Большинство команд стремятся быть средними во всем. Модели роста работают не так.

У всех моделей роста есть сильные и слабые стороны. Вы должны быть чрезвычайно высокими (выбросом) в одним областях, и медианными/низкими в других. Это нормально. Это подводит меня к пункту 3.

3. Бенчмарки — это не кратчайший путь к качественному пониманию

Большинство людей, которые обращаются ко мне за бенчмарками, ищут кратчайший путь к глубокому качественному пониманию их сценария использования и модели роста.

Именно такое качественное понимание позволяет определить, где вы должны быть сильны, а где слабы. Без этого бенчмарки — это ложные сравнения и ложные ориентиры. Они не скажут вам, хорошо ли вы работаете или нет.

4. Каждая компания определяет одну и ту же метрику по-разному

Отток, удержание пользователей, WAU, DAU, NRR, конверсия и т.д. Неважно, что это за метрика, но каждая компания определяет одну и ту же метрику немного по-разному. Бенчмарки не учитывают этого и, как следствие, часто вводят в заблуждение.

5. Большинство выборок для бенчмарков — это чистый шум

Во многих эталонных исследованиях вы не имеете представления о том, кто входит в выборку данных, правильно ли они отслеживают/определяют свои метрики и многое другое. Большинство данных в итоге оказываются шумом.