Статистическая мощность и размер выборки (Experiment Power & Sample Size)
Коротко
Статистическая мощность и размер выборки (Experiment Power & Sample Size) — параметры, которые определяют способность эксперимента обнаружить реальный эффект заданного размера.
Что влияет на размер выборки
Baseline conversion.
Minimum Detectable Effect.
Уровень значимости.
Желаемая statistical power.
Вариативность метрики.
Количество вариантов.
Power и significance
Понятие
Смысл
Significance Level
Риск ложноположительного вывода
Power
Вероятность обнаружить реальный эффект
MDE
Минимальный эффект, который хотим уверенно увидеть
Почему нельзя просто «дождаться значимости»
Постоянное подглядывание в тест без корректного sequential design повышает вероятность ложного вывода.