Перед запуском
Сначала проверьте tracking, conversion definitions, customer exclusions и unit economics. Не экспериментируйте с targeting, если event сломан или Sales не обрабатывает leads. Для крупных media changes предпочтительны holdout/geo designs, если user-level randomization невозможна.
Эксперимент 1. Перераспределение бюджета по marginal CAC
Гипотеза: если перенести 10–20% бюджета из насыщенного campaign в менее насыщенный, общий incremental CAC снизится
Как проверить: Выберите два сопоставимых сегмента/кампании, заранее задайте лимит reallocation и измеряйте downstream quality в одинаковом окне.
Основная метрика: incremental CAC / contribution Guardrail: retained quality, total volume
Эксперимент 2. Новая аудитория на основе high-LTV cohort
Гипотеза: lookalike/seed из high-LTV клиентов даст меньше, но более качественных customers
Как проверить: Создайте seed только из profitable retained cohort и сравните с обычным purchaser seed при одинаковом creative/offer.
Основная метрика: retained CAC Guardrail: scale и overlap
Эксперимент 3. Broad targeting против детальной сегментации
Гипотеза: широкий targeting позволит алгоритму найти более дешёвый qualified demand
Как проверить: Сравните broad и interest/segment setup с одинаковыми exclusions, creative и budget.
Основная метрика: qualified CAC Guardrail: lead/customer quality
Эксперимент 4. Новая география
Гипотеза: adjacent region даёт недооценённый demand при приемлемой economics
Как проверить: Запустите geo-cell с отдельным budget и локальным baseline; не смешивайте с national campaign.
Основная метрика: contribution per acquired customer Guardrail: delivery/service capacity
Эксперимент 5. Дневной лимит по часовым слотам
Гипотеза: pacing по часам снизит wasted spend, если conversion сильно различается
Как проверить: Используйте historical conversion by hour, примените ограничение к test group и оставьте control без dayparting.
Основная метрика: contribution per spend Guardrail: lost volume
Эксперимент 6. Новый bidding objective
Гипотеза: оптимизация на downstream event улучшит качество по сравнению с lead event
Как проверить: Передайте qualified/paid conversion в платформу и сравните с campaign, оптимизированной на top-funnel event.
Основная метрика: CAC / pipeline value Guardrail: learning volume
Эксперимент 7. Исключение существующих клиентов
Гипотеза: suppression customers снизит waste и new-customer CAC
Как проверить: Создайте чистое customer exclusion и измеряйте new-customer mix.
Основная метрика: new-customer CAC Guardrail: reach and match rate
Эксперимент 8. Prospecting без ретаргетинга
Гипотеза: часть attributed performance ретаргетинга неинкрементальна
Как проверить: Создайте holdout/geo-cell без retargeting или уменьшите frequency при сохранении prospecting.
Основная метрика: incremental revenue Guardrail: total conversion
Эксперимент 9. Увеличение окна learning
Гипотеза: меньше частых правок улучшит algorithm stability
Как проверить: Сравните campaign с weekly change cadence против daily micro-optimization.
Основная метрика: CAC / conversion stability Guardrail: overspend
Эксперимент 10. Минимальный spend threshold
Гипотеза: слишком раздробленный budget не даёт сигнал алгоритму
Как проверить: Консолидируйте малые ad sets/campaigns до заранее выбранного minimum spend.
Основная метрика: CAC / delivery stability Guardrail: segment visibility
Эксперимент 11. Creative-first масштабирование
Гипотеза: новые concepts продлят scale лучше, чем новые micro-audiences
Как проверить: В mature campaign добавьте 3–5 новых creative concepts при неизменном targeting.
Основная метрика: marginal CAC Guardrail: brand fit
Эксперимент 12. Frequency cap
Гипотеза: ограничение частоты снизит fatigue без потери conversions
Как проверить: Для display/video/retargeting сравните текущую frequency и cap.
Основная метрика: incremental conversion per reach Guardrail: total sales
Эксперимент 13. Sequential messaging
Гипотеза: последовательность education→proof→offer повысит conversion
Как проверить: Используйте audience exposure sequence или geo/time design с тремя стадиями messaging.
Основная метрика: qualified conversion Guardrail: frequency
Эксперимент 14. Brand-search holdout
Гипотеза: часть branded search sales произошла бы органически
Как проверить: Проведите geo/time holdout с сокращением branded bids при контроле organic coverage.
Основная метрика: incremental revenue Guardrail: competitor capture
Эксперимент 15. Non-brand query expansion
Гипотеза: новые long-tail queries дадут рост до saturation core keywords
Как проверить: Создайте controlled query expansion и отдельный negative-keyword governance.
Основная метрика: qualified CAC Guardrail: search relevance
Эксперимент 16. Landing page by intent
Гипотеза: разные landing pages по query intent повысят post-click conversion
Как проверить: Маршрутизируйте high-intent и research-intent traffic на разные pages.
Основная метрика: lead/customer conversion Guardrail: quality
Эксперимент 17. Channel mix shift
Гипотеза: добавление второго канала снизит dependence без ухудшения blended economics
Как проверить: Перенесите ограниченную долю spend в новый channel с заранее заданным ramp.
Основная метрика: blended CAC Guardrail: total new customers
Эксперимент 18. Incrementality geo test
Гипотеза: атрибуция переоценивает канал и реальный lift ниже reported
Как проверить: Выберите matched geos, включите/выключите spend и сравните lift с baseline.
Основная метрика: incremental sales Guardrail: spillover
Эксперимент 19. New-customer-only offer
Гипотеза: специальный offer увеличит acquisition, но не cannibalization
Как проверить: Покажите offer только verified new customers и сравните с standard offer.
Основная метрика: incremental new customers Guardrail: margin / fraud
Эксперимент 20. Value-based optimization
Гипотеза: передача contribution value в bidding улучшит profit против revenue optimization
Как проверить: Передавайте value after margin/returns и сравните campaign objectives.
Основная метрика: contribution ROAS Guardrail: volume
Эксперимент 21. Exclusion low-quality placements
Гипотеза: удаление low-quality inventory улучшит downstream outcome
Как проверить: Создайте placement quality list по retained conversion, а не CTR.
Основная метрика: retained CAC Guardrail: reach
Эксперимент 22. Device-specific structure
Гипотеза: разные device journeys требуют отдельных bids/landing
Как проверить: Разделите mobile/desktop только если historical behavior materially отличается.
Основная метрика: contribution per session Guardrail: fragmentation
Эксперимент 23. Seasonal pre-ramp
Гипотеза: ранний ramp до пика снизит auction shock и даст learning
Как проверить: Запустите увеличение budget за 1–2 недели до peak в test region/segment.
Основная метрика: peak CAC / volume Guardrail: pre-peak waste
Эксперимент 24. Campaign consolidation
Гипотеза: меньше campaign/ad sets повысит signal density
Как проверить: Объедините дублирующие structures, сохранив reporting tags.
Основная метрика: CAC / stability Guardrail: loss of control
Эксперимент 25. Stop-loss rule
Гипотеза: заранее заданный stop-loss снизит потери неработающих tests
Как проверить: Для новых campaigns задайте max spend без qualified conversion и автоматический review.
Основная метрика: loss avoided / test efficiency Guardrail: premature stop
Как приоритизировать
Если bottleneck — volume, начинайте с reach/channel/targeting. Если CAC — marginal budget, bidding, creative и landing. Если quality — downstream optimization, exclusions и value signals. Если attribution uncertain — incrementality experiments раньше масштабирования.
Минимальный decision log
- Что изменили.
- Сколько budget подверглось тесту.
- Какой attribution/measurement design.
- Primary metric и guardrails.
- Результат.
- Решение: scale / iterate / stop.