Перцентильные фильтры

Шестерёнки вашего продукта крутятся, A/B-эксперименты мутятся!

Ситуация: вы добавляете новые фичи, обкатываете их на пользователях и собираете кучу данных. И вот наступает самый интересный момент — необходимо проанализировать все результаты и вычислить профиты. Однако просто проанализировать недостаточно, ведь главное — в процессе случайно не обмануть себя.

В свежем эпизоде:

• Рассказываем историю анализа эксперимента с откликами
• Объясняем, что такое перцентильные фильтры и как их применять
• Разбираемся, сколько зла таится в перцентильных фильтрах

Содержание:

• 00:00 — Интро
• 00:20 — О чём сегодня поговорим
• 00:42 — Что такое метрики?
• 01:20 — Метрика откликов в hh.ru
• 02:05 — Как часто откликаются пользователи?
• 03:23 — Права ли наша интуиция?
• 03:56 — Что можно сделать с аутлаерами?
• 04:45 — Что такое перцентильные фильтры?
• 05:31 — Можно ли подобрать правильный перцентильный фильтр?
• 07:30 — А ничего ли не смущает в подборе фильтра?..
• 08:52 — Может это эксперимент был особенным?
• 09:45 — Как часто можно получить желаемый прокрас?
• 11:22 — Как объяснить полученные результаты?
• 13:57 — Так, всё-таки, как делать правильно?
• 16:27 — Заключение