B2B Growth · Strategy · Revenue · AI Automation Маркетинг с 2008 года
Словарь маркетинга

Статистическая мощность и размер выборки (Experiment Power & Sample Size)

Коротко
Статистическая мощность и размер выборки (Experiment Power & Sample Size) — параметры, которые определяют способность эксперимента обнаружить реальный эффект заданного размера.

Что влияет на размер выборки

  • Baseline conversion.
  • Minimum Detectable Effect.
  • Уровень значимости.
  • Желаемая statistical power.
  • Вариативность метрики.
  • Количество вариантов.

Power и significance

ПонятиеСмысл
Significance LevelРиск ложноположительного вывода
PowerВероятность обнаружить реальный эффект
MDEМинимальный эффект, который хотим уверенно увидеть

Почему нельзя просто «дождаться значимости»

Постоянное подглядывание в тест без корректного sequential design повышает вероятность ложного вывода.

Связанные понятия

Итог
Sample Size нужно планировать до запуска теста на основе baseline, MDE и требуемой мощности.
Данные, аналитика, измерение и эксперименты