Шестерёнки вашего продукта крутятся, A/B-эксперименты мутятся!
Ситуация: вы добавляете новые фичи, обкатываете их на пользователях и собираете кучу данных. И вот наступает самый интересный момент — необходимо проанализировать все результаты и вычислить профиты. Однако просто проанализировать недостаточно, ведь главное — в процессе случайно не обмануть себя.
В свежем эпизоде:
- Рассказываем историю анализа эксперимента с откликами
- Объясняем, что такое перцентильные фильтры и как их применять
- Разбираемся, сколько зла таится в перцентильных фильтрах
Содержание:
- 00:00 — Интро
- 00:20 — О чём сегодня поговорим
- 00:42 — Что такое метрики?
- 01:20 — Метрика откликов в hh.ru
- 02:05 — Как часто откликаются пользователи?
- 03:23 — Права ли наша интуиция?
- 03:56 — Что можно сделать с аутлаерами?
- 04:45 — Что такое перцентильные фильтры?
- 05:31 — Можно ли подобрать правильный перцентильный фильтр?
- 07:30 — А ничего ли не смущает в подборе фильтра?..
- 08:52 — Может это эксперимент был особенным?
- 09:45 — Как часто можно получить желаемый прокрас?
- 11:22 — Как объяснить полученные результаты?
- 13:57 — Так, всё-таки, как делать правильно?
- 16:27 — Заключение
