Диагностика роста · Стратегия · Эксперименты · Рыночная аналитика B2B-маркетинг с 2008 года
База знаний / Рост бизнеса / Эксперименты
Система роста · проверка решений

Система экспериментов роста:
от ограничения к проверяемому решению

После диагностики компании нужен не список из двадцати идей, а следующий небольшой тест, который поможет принять решение. Хороший эксперимент связывает конкретное ограничение, предполагаемую причину, одно изменение, показатель успеха и заранее заданное правило остановки.

Логика системы
Ограничение → предполагаемая причина → гипотеза → изменение → данные → решение → новое ограничение
Цель теста — не доказать, что идея хорошая. Цель — получить достаточно информации, чтобы понять, что делать дальше.
Экспериментальный цикл

Семь элементов хорошего эксперимента

Если хотя бы одного элемента нет, команда рискует получить цифры, но не получить ответа.

01ОграничениеЧто сейчас сильнее всего мешает результату.
02ПричинаПочему, предположительно, возникает эта проблема.
03ГипотезаЧто должно измениться и почему.
04ИзменениеОдно конкретное действие, которое мы проверяем.
05ПоказательПо какой цифре поймём, что произошло.
06Правило остановкиКогда данных достаточно, чтобы завершить тест.
07РешениеМасштабировать, изменить, остановить или собрать ещё данные.
Сначала смысл

Эксперимент — это не просто новая активность

Это эксперимент

  • Есть конкретная проблема, которую хотим понять или уменьшить.
  • Есть объяснение, почему проблема возникает.
  • Меняем одну главную вещь и заранее выбираем показатель результата.
  • До запуска определяем, когда остановимся и какое решение примем.

Это пока не эксперимент

  • «Давайте запустим новый канал и посмотрим, что будет».
  • Одновременно меняем аудиторию, цену, сайт, предложение и рекламный канал.
  • После запуска выбираем ту цифру, которая выглядит лучше остальных.
  • Тест продолжается бесконечно, потому что заранее не определён момент решения.
Правила

Как сделать результат эксперимента пригодным для решения

01 Одна причинная гипотеза Если одновременно поменять канал, цену, аудиторию и предложение, будет непонятно, что именно создало результат.
02 Один понятный контекст Зафиксируйте группу клиентов, источник обращений, этап процесса и период, в котором проходит проверка.
03 Показатель выбран заранее Нельзя сначала увидеть данные, а потом объявить главным тот показатель, который случайно вырос.
04 Защитный показатель Рост одной цифры не должен происходить ценой качества клиентов, прибыли, удержания или перегрузки команды.
05 Правило остановки До запуска определите объём данных, срок, бюджет или другой порог, после которого тест заканчивается.
06 Результат фиксируется Запишите условия, цифры и вывод так, чтобы команда не повторила тот же тест через месяц под новым названием.
Области проверки

Где искать эксперименты роста

ПривлечениеСпрос и рекламные каналыАудитория, канал, сообщение, ставки, исходящие обращения, партнёрства.
Путь к заявкеСайт и следующий шаг клиентаПредложение, доказательства, удобство сайта, формы, распределение и проверка качества обращений.
ПродажиКоммерческий процессСкорость ответа, выявление задачи клиента, предложение, повторный контакт, работа с участниками решения.
ЦенаСтоимость и упаковкаТарифы, ценовые ориентиры, минимальная сумма договора, условия оплаты, правила скидок.
УдержаниеПовторная ценностьПервый опыт, первое успешное использование, повторное обращение, дополнительные продажи, снижение оттока.
КонтентСпрос и довериеКейсы, экспертные материалы, поисковая видимость, распространение, публичная экспертиза.
ПродуктСоздание ценностиСценарий использования, функция, комплект, рабочий процесс, скорость получения первой пользы.
ПроцессыСкорость и объём работыАвтоматизация, передача задач, длительность цикла, загрузка команды, стоимость операции.
Конструктор эксперимента

Соберите карточку эксперимента

Ответьте на шесть основных вопросов. Дополнительные поля можно не заполнять — они нужны только тогда, когда вы хотите точнее зафиксировать условия теста.

Карточка эксперимента

После заполнения вы получите готовое описание, которое можно перенести в Jira, Notion, Confluence или обычную таблицу задач.

Основные поля обязательны. Блок «Уточнить эксперимент» — необязательный.
Не «улучшить маркетинг», а конкретная проблема в цепочке результата.
Это предположение, а не установленный факт — эксперимент как раз нужен для проверки.
Чем меньше одновременных изменений, тем проще понять результат.
Выберите один основной показатель, а не набор удобных цифр.
Порог должен быть определён до того, как вы увидите результат.
Без этого слабый или случайный результат легко принять за победу.
Уточнить эксперимент — необязательно
Если данных пока нет или вы не знаете ответ — оставьте поле пустым. Основную карточку всё равно можно собрать.

Насколько этот эксперимент стоит запускать первым?

Оценка нужна только для сравнения нескольких экспериментов вокруг одной проблемы. Это не вероятность успеха и не финансовый прогноз.

Потенциальный эффект
3

Насколько сильно результат способен повлиять на проблему?

малыйбольшой
Сила доказательств
3

Сколько фактов уже говорит в пользу предполагаемой причины?

догадкамного фактов
Скорость получения ответа
3

Как быстро тест даст достаточно данных для следующего решения?

медленнобыстро
Простота и обратимость
3

Насколько легко провести тест без крупных затрат и необратимых решений?

тяжёлыйлёгкий
Приоритет эксперимента
—
—

Используйте эту оценку только для сравнения экспериментов вокруг одного и того же ограничения. Важность самой проблемы всегда важнее арифметического балла.

Потенциальный эффект—
Сила доказательств—
Скорость ответа—
Простота и обратимость—

Готовая карточка эксперимента

Проверьте главный вопрос: если тест закончится, его результат действительно поможет решить, что делать дальше?

МасштабироватьЭффект подтверждён и защитные показатели не ухудшились.
Изменить и повторитьПричина выглядит правдоподобно, но способ проверки оказался слабым.
ОстановитьГипотеза не подтвердилась или цена эффекта слишком высока.
Собрать ещё данныеРезультат пока неоднозначен и данных недостаточно для решения.
Очередь экспериментов

Как выбирать, что проверять сначала

Не стройте единый рейтинг всех идей компании. Сначала соберите несколько проверок вокруг одного подтверждённого ограничения.

01Одно ограничениеТри–пять проверок вокруг одной проблемы обычно полезнее тридцати несвязанных инициатив.
02Разные причиныПроверяйте конкурирующие объяснения проблемы, а не пять вариантов одного рекламного баннера.
03Сначала дешёвая информацияНачинайте с тестов, которые быстрее и дешевле уменьшают неопределённость.
04Сначала обратимые решения До большой разработки, найма или крупных вложений ищите небольшой способ проверить предположение.
05Проверяйте следующий этапУлучшение верхнего показателя не должно происходить ценой прибыли, удержания или качества продаж.
06Пересматривайте очередьНовая информация меняет уверенность в гипотезах и порядок тестов — это нормальная часть работы.
Отрицательный результат

Неудачный тест тоже может быть полезным

Если гипотеза не подтвердиласьЗафиксируйте условия, группу клиентов и результат. Вы исключили одно объяснение и сузили пространство поиска.
Если результат неоднозначныйНе называйте тест успешным. Проверьте объём данных, соблюдение условий эксперимента, качество измерения и другие возможные причины.
Если один показатель выросПроверьте, что не ухудшились следующие этапы: качество обращений, доля выигранных сделок, прибыльность, удержание и нагрузка команды.
Если эффект оказался сильнымСледующий тест должен проверить, сохраняется ли эффект при увеличении масштаба: на другой группе клиентов, большем объёме и более длинном периоде, с учётом затрат и прибыли.
Принцип: система экспериментов должна увеличивать качество решений, а не количество тестов ради самих тестов.
Принцип системы роста

Не внедряйте идеи вслепую — сначала покупайте знания маленькими тестами

Сильная система экспериментов уменьшает стоимость ошибки. Компания сначала проверяет предполагаемую причину, затем масштабирует подтверждённое и быстро останавливает то, что не создаёт нужного эффекта. Так решения становятся быстрее, дешевле и точнее.

Эксперименты