Статистическая значимость: что она означает и чего не доказывает
Коротко
Статистическая значимость показывает, насколько наблюдаемое различие совместимо со случайными колебаниями при заданной статистической модели. Она не показывает размер эффекта и не доказывает практическую ценность.
Что означает p-value
В классическом тестировании p-value — вероятность получить наблюдаемый или более экстремальный результат при условии, что нулевая гипотеза верна. Это не вероятность того, что гипотеза верна или ложна.
Значимость и размер эффекта
Ситуация
Интерпретация
Маленький эффект, огромная выборка
Может быть статистически значим, но практически неважен
Большой эффект, маленькая выборка
Может не достичь significance из-за высокой неопределённости
Значимый и крупный эффект
Нужна ещё проверка дизайна и причинности
Что смотреть вместе со significance
Effect size.
Confidence interval.
Размер и способ формирования выборки.
Число проведённых сравнений.
Предварительно заданную гипотезу.
Практическую цену ошибки.
Типичные ошибки
Считать p
Повторять тесты до получения нужного результата.
Игнорировать multiple comparisons.
Менять метрику после просмотра данных.
Путать отсутствие significance с доказанным отсутствием эффекта.
Статистическая значимость отвечает на узкий вопрос о неопределённости результата. Для решения всегда нужны ещё размер эффекта, качество дизайна и бизнес-контекст.