Нужно смотреть не только p-value
- Effect size.
- Confidence interval.
- Business impact.
- Guardrails.
- Heterogeneity by segment.
- Data quality.
Статистическая и практическая значимость
Очень маленький эффект может быть statistically significant при огромной выборке и одновременно не окупать стоимость внедрения.