Интерпретация результатов эксперимента (Experiment Result Interpretation)
Коротко
Интерпретация результатов эксперимента (Experiment Result Interpretation) — перевод статистического результата в вывод о величине эффекта, неопределённости, практической значимости и дальнейших действиях.
Нужно смотреть не только p-value
Effect size.
Confidence interval.
Business impact.
Guardrails.
Heterogeneity by segment.
Data quality.
Статистическая и практическая значимость
Очень маленький эффект может быть statistically significant при огромной выборке и одновременно не окупать стоимость внедрения.