Дизайны экспериментов (Experiment Designs) — способы организации treatment и control для проверки гипотезы: A/B, A/B/n, multivariate и sequential testing.
Основные дизайны
Дизайн
Когда использовать
A/B
Сравнение двух вариантов
A/B/n
Несколько альтернатив одному control
Multivariate
Совместное тестирование нескольких факторов
Sequential
Проверка данных по мере накопления по корректным правилам
Сложнее не значит лучше
Multivariate требует существенно больше данных. Если трафика мало, простой A/B часто даёт более надёжный ответ.