Контрольная группа (Holdout Group) — часть целевой аудитории, которая намеренно не получает тестируемое воздействие и служит базой сравнения для оценки incremental effect.
Что делает holdout полезным
Сопоставимость с treatment.
Отсутствие воздействия.
Достаточный размер.
Чёткий observation window.
Минимальная contamination.
Persistent и temporary holdout
Тип
Применение
Temporary
Один тест / кампания
Persistent
Долгосрочная оценка CRM или media program
Не путать с historical control
Сравнение с прошлым периодом не является настоящей holdout group, потому что меняются seasonality, demand и external factors.