Метрики эксперимента (Experiment Metrics) — заранее определённые primary, secondary и guardrail показатели, по которым оценивается эффект тестируемого изменения.
Типы метрик
Тип
Роль
Primary
Главный критерий успеха
Secondary
Дополнительные эффекты
Guardrail
Что не должно ухудшиться
Diagnostic
Помогает объяснить механизм
Primary metric должна быть одна или очень немногочисленна
Если тест объявляется успешным при любом положительном сдвиге среди десятков показателей, растёт риск cherry-picking.