Предварительная регистрация эксперимента (Experiment Pre-registration)

• Hypothesis.
• Primary metric.
• Guardrails.
• Sample size / MDE.
• Exclusions.
• Analysis window.
• Decision rule.

Pre-registration снижает риск менять критерии успеха после того, как команда увидела данные.

Для продуктовых и маркетинговых тестов достаточно короткого структурированного документа, если он делает будущую интерпретацию однозначнее.

• Experiment Metrics
• Experiment Registry
• Experiment Result Interpretation
• Statistical Significance