MiraВопрос на собеседовании · Product Manager
Как спроектировать A/B-тест продуктовой гипотезы?
Короткий ответ, ключевые тезисы и ошибки, которых стоит избежать на интервью.
Сначала фиксируют гипотезу с ожидаемым изменением поведения, целевую метрику и guardrails. До старта выбирают единицу рандомизации, минимально значимый эффект, размер выборки, длительность и правила исключения данных.
После запуска проверяют качество распределения и технические инварианты, не подсматривают результат для ранней остановки без корректного метода. Итог включает размер эффекта и интервал неопределённости, а не только бинарный p-value.
01 · Структура ответа
Что важно сказать интервьюеру
Раскройте тезисы, которые относятся именно к этому вопросу, и поясните их на собственном примере:
02 · Пример
Как объяснить на практике
Для нового onboarding рандомизирую новых пользователей, целевая метрика — активация за семь дней, guardrails — ошибки и отмены подписки. Тест идёт полные недельные циклы до рассчитанной выборки.
Не заучивайте формулировку дословно. Свяжите принцип с задачей из собственного проекта — интервьюер почти наверняка попросит уточнить детали реализации и компромиссы.
03 · Ошибки
Чего избегать в ответе
04 · Углубление
Что могут спросить следом
- Что такое SRM?
- Когда A/B-тест невозможен?
- Как выбрать MDE?
05 · Проверка фактов
Первоисточники по теме
Ссылки ниже помогают проверить понятия, методы и ограничения по теме. Они не являются доказательством того, что этот вопрос задают на каждом собеседовании.
- Kohavi et al.: Guide to Controlled Experiments — Планирование и интерпретация онлайн-экспериментов.
Практика ответа
Ответьте вслух, а не про себя
Откроем тренировку сразу на этом вопросе. Выберите грейд, сформулируйте ответ и сравните его с подсказкой.