Что означает p-value
В классическом тестировании p-value — вероятность получить наблюдаемый или более экстремальный результат при условии, что нулевая гипотеза верна. Это не вероятность того, что гипотеза верна или ложна.
Значимость и размер эффекта
Что смотреть вместе со significance
- Effect size.
- Confidence interval.
- Размер и способ формирования выборки.
- Число проведённых сравнений.
- Предварительно заданную гипотезу.
- Практическую цену ошибки.
Типичные ошибки
- Считать p
- Повторять тесты до получения нужного результата.
- Игнорировать multiple comparisons.
- Менять метрику после просмотра данных.
- Путать отсутствие significance с доказанным отсутствием эффекта.