Библиотека маркетинговых экспериментов: как использовать

Как пользоваться библиотекой

Библиотека экспериментов — не список «идей для A/B-тестов», а система принятия решений. Каждый эксперимент должен быть связан с конкретным bottleneck, иметь гипотезу, primary metric, guardrails, expected impact и заранее определённое решение после результата.

1. Начинайте не с идеи, а с проблемы

Перед выбором эксперимента сформулируйте симптом и предполагаемую причину. Например: «CAC вырос на 25% из-за падения conversion после клика» полезнее, чем «давайте протестируем новую рекламу». Библиотека помогает выбрать проверку для конкретного bottleneck, а не генерировать активность.

2. Связывайте эксперимент с деревом метрик

Каждый тест должен воздействовать на один или несколько drivers: traffic, conversion, AOV, activation, retention, win rate, price realization. Если вы не можете показать, где experiment находится в Revenue Tree или Profit Tree, его business relevance сомнительна.

3. Формулируйте гипотезу

Хорошая гипотеза содержит механизм: «если изменить X для сегмента Y, метрика Z изменится потому что…». Формулировка «новый лендинг повысит конверсию» слабая, потому что не объясняет, какая friction снимается.

4. Выберите primary metric

У эксперимента должна быть одна основная метрика принятия решения. Secondary metrics помогают объяснить результат, но не должны позволять выбрать удобную победу постфактум.

5. Добавьте guardrails

Рост conversion может ухудшить margin, lead quality или returns. Guardrails предотвращают локальную оптимизацию, которая вредит бизнесу. Для pricing это churn/refund; для media — retained CAC; для CRM — complaints/unsubscribe.

6. Определите единицу рандомизации

User, session, account, geography, campaign, store или time period. Неправильная единица создаёт contamination: один B2B-account может попасть в control и treatment через разных contacts.

7. Выберите дизайн

Дизайн	Когда использовать
A/B test	Есть достаточный traffic и можно рандомизировать
Holdout	Нужно измерить incrementality программы
Geo experiment	Каналы/бренд сложно рандомизировать по user
Switchback	Есть network/time effects
Pre/post с control	Рандомизация ограничена, нужен baseline
Qualitative test	Ранний PMF/message research

8. Считайте sample size до запуска

Определите baseline, minimum detectable effect, alpha/power или практический decision threshold. Не заканчивайте тест только потому, что dashboard на третий день показывает зелёную стрелку.

9. Учитывайте длительность

Эксперимент должен захватывать полный business cycle: weekday/weekend, sales cycle, trial period, repeat window. Для retention-test результат D7 не заменяет D30, если решение влияет на долгосрочную ценность.

10. Не подглядывайте без правила остановки

Continuous peeking повышает вероятность ложной победы. Используйте заранее определённый horizon или sequential method, если умеете его корректно применять.

11. Сегментируйте после primary result осторожно

Post-hoc slices помогают находить hypotheses, но не превращайте случайную победу в одном из двадцати сегментов в доказанный effect. Такие findings становятся input для следующего теста.

12. Введите статус эксперимента

Статус	Смысл
Backlog	Есть hypothesis, не приоритизировано
Designed	Есть metric, sample и owner
Running	Тест активен
Analyzing	Сбор закончен, решение не принято
Adopted	Изменение внедрено
Rejected	Гипотеза не подтверждена
Inconclusive	Недостаточно evidence

13. Используйте ICE/RICE не механически

Impact, Confidence, Ease/Effort полезны для сравнения, но score не заменяет strategy. Эксперимент на текущий bottleneck обычно важнее красивой идеи с высоким лёгким score.

14. Ограничьте WIP

Если команда запускает 30 tests одновременно, analysis и implementation становятся bottleneck. Лучше 5 качественных экспериментов с решениями, чем 30 незакрытых.

15. Ведите experiment registry

ID и owner.
Hypothesis.
Target driver.
Segment.
Design.
Primary metric.
Guardrails.
Start/end.
Result.
Decision.
Learning.

16. Решение задаётся до запуска

Напишите: «если primary metric растёт ≥8% без ухудшения guardrail, внедряем; если эффект 0–8%, повторяем/уточняем; если отрицательный — закрываем». Это снижает post-hoc рационализацию.

17. Отделяйте statistical и business significance

Очень маленький effect может быть статистически значимым на большом трафике, но не окупать implementation. И наоборот, большой бизнес-effect может быть важен даже при неполной статистической уверенности в ранней стадии — тогда нужен дополнительный тест.

18. Считайте incremental economics

Experiment win должен переводиться в revenue, contribution, CAC, LTV или productivity. Укажите expected annualized effect, но не экстраполируйте короткий test без учёта saturation и rollout.

19. Внедряйте победителя как отдельный этап

A/B test на 10% traffic и full rollout — разные режимы. После внедрения отслеживайте, сохраняется ли effect, нет ли novelty effect и operational side effects.

20. Учитесь на проигрышах

Rejected hypothesis экономит деньги, если learning сохраняется. В registry фиксируйте не только «не сработало», а механизм: сегмент не увидел value, friction была другой, incentive привёл low-quality demand.

21. Используйте qualitative evidence

Не все вопросы требуют A/B. Message, JTBD, objections и early PMF часто быстрее проверяются interviews, prototypes, concierge tests. Библиотека включает и такие методы.

22. Не тестируйте то, что уже очевидно

Broken checkout, неработающая форма, явная ошибка pricing — это bug, а не experiment. Исправляйте дефект и наблюдайте результат.

23. Не тестируйте compliance и ethics

Согласие, privacy, deceptive UX и обязательные disclosure не являются зоной «проверим, что лучше конвертит». Guardrails бизнеса выше локальной conversion.

24. Создайте review cadence

Еженедельно — running/blocked experiments. Ежемесячно — learnings и adoption. Ежеквартально — какие drivers тестировались, где evidence достаточно и какие hypotheses повторяются.

25. Структура библиотеки

Paid Media и медиамикс.
Creative и offer.
CRO и landing pages.
Product/PMF.
B2B demand.
Sales conversion.
Activation/onboarding.
Retention/CRM.
Pricing/monetization.
E-commerce.
Content/SEO/AI Search.
Brand/PR/community.
Measurement/budget.
MarTech/automation.
AI agents.

26. Как выбрать следующий эксперимент

Найти главный bottleneck.
Определить driver.
Выбрать 3–5 hypotheses.
Оценить impact/confidence/effort.
Проверить feasibility measurement.
Запустить один наиболее информативный test.

27. Практический пример

Команда видит рост CAC и собирается тестировать новые audiences. Revenue Tree показывает, что click→lead conversion упала после редизайна landing page, а media metrics стабильны. Вместо audience experiments команда запускает два CRO tests, восстанавливает conversion и только затем возвращается к channel scaling. Библиотека помогает тестировать ограничение, а не привычный инструмент.

Полезные шаблоны

Полезные фреймворки

28. Как работать с отрицательным результатом

Отрицательный результат не означает, что experiment был бесполезным. Проверьте три слоя: была ли hypothesis неверной, было ли изменение недостаточно сильным, и был ли design способен обнаружить meaningful effect. Если mechanism не подтверждается, закрывайте направление. Если execution слабая — тестируйте новую реализацию.

29. Как отличить inconclusive от failed

Failed — достаточно evidence, что ожидаемый effect отсутствует или отрицательный. Inconclusive — данных недостаточно, sample слишком мал, tracking сломан или experiment contaminated. Эти статусы нельзя смешивать: inconclusive требует решения о повторе, failed — learning и stop.

30. Как использовать репликацию

Критические результаты полезно повторять на другом периоде, сегменте или geography. Особенно это важно, если effect неожиданно большой. Replication снижает риск масштабировать случайность, novelty effect или сезонный всплеск.

31. Как создавать семейства экспериментов

Вместо двадцати несвязанных тестов группируйте experiments вокруг одной growth hypothesis. Например, «клиенты не понимают value» может породить message, proof, demo и offer tests. После 3–5 результатов вы получаете вывод о механизме, а не коллекцию локальных побед.

32. Как закрывать гипотезу

У hypothesis должен быть предел терпения. Если три качественных tests не показывают effect, а qualitative evidence тоже слабое, закройте тему. Иначе команда превращает experimentation в бесконечный поиск варианта, который случайно станет зелёным.

33. Как учитывать opportunity cost

Experiment consumes traffic, budget, engineering, analyst и management attention. Сравнивайте не только expected upside, но и что вы не сможете протестировать в этот период. Это особенно важно для low-traffic products и длинного B2B sales cycle.

34. Как формировать quarterly learning agenda

На квартал выберите 3–5 стратегических вопросов: какой segment сильнее, что ограничивает conversion, какой pricing model устойчив, что создаёт retention. Experiments становятся инструментами ответа на вопросы, а не автономным backlog.

35. Как использовать архив

Перед запуском ищите похожие historical experiments. Возможно, hypothesis уже проверялась, но result забыли. Сохраняйте screenshots, variants, SQL, sample и context — иначе через год тест невозможно интерпретировать.

Как пользоваться библиотекой маркетинговых экспериментов (Marketing Experiment Library)