Проверьте корректность product feed, stock, price, payment events, taxes, delivery и returns tracking. Сегментируйте mobile/desktop, new/repeat и category. Не тестируйте copy поверх сломанного checkout.
Гипотеза: отказ от обязательной регистрации снизит checkout friction
Как проверить: Разрешите гостевое оформление части трафика, account creation предложите после покупки.
Основная метрика: checkout completion. Guardrail: account creation rate.
Гипотеза: меньше переходов сократит abandonment
Как проверить: Сравните one-page и multi-step checkout при одинаковых полях.
Основная метрика: purchase conversion. Guardrail: error rate.
Гипотеза: видимый прогресс снизит uncertainty в multi-step checkout
Как проверить: Добавьте 3–4 понятных шага и текущий статус.
Основная метрика: checkout completion. Guardrail: page complexity.
Гипотеза: автозаполнение адреса уменьшит ошибки и время
Как проверить: Включите address autocomplete для test cohort.
Основная метрика: checkout completion / time. Guardrail: wrong address rate.
Гипотеза: популярный метод выше увеличит completion
Как проверить: Измените порядок методов на основе historical usage.
Основная метрика: payment success. Guardrail: support/payment fees.
Гипотеза: Apple/Google/other express wallet сократит mobile friction
Как проверить: Покажите eligible express payment до обычной формы.
Основная метрика: mobile conversion. Guardrail: payment fee.
Гипотеза: ранняя дата доставки повысит purchase confidence
Как проверить: Покажите expected delivery на PDP/cart до checkout.
Основная метрика: purchase conversion. Guardrail: promise accuracy.
Гипотеза: порог доставки увеличит AOV без потери contribution
Как проверить: Тестируйте threshold относительно текущего AOV и margin.
Основная метрика: contribution per session. Guardrail: conversion.
Гипотеза: доставка воспринимается ценнее эквивалентной скидки
Как проверить: Сравните экономически сопоставимые offers.
Основная метрика: contribution / conversion. Guardrail: AOV.
Гипотеза: визуальный прогресс увеличит basket size
Как проверить: Покажите сколько осталось до threshold.
Основная метрика: AOV / contribution. Guardrail: unneeded add-ons.
Гипотеза: релевантный cross-sell повысит AOV
Как проверить: Показывайте 2–4 complementary items, не generic bestsellers.
Основная метрика: AOV / attach rate. Guardrail: checkout distraction.
Гипотеза: логичный bundle повысит units per order
Как проверить: Сравните bundle и отдельные товары с прозрачной экономией.
Основная метрика: contribution / AOV. Guardrail: returns.
Гипотеза: volume pricing повысит units/order
Как проверить: Тестируйте 2/3+ units для repeatable products.
Основная метрика: contribution per order. Guardrail: margin.
Гипотеза: saved intent можно вернуть без скидки
Как проверить: Отправьте reminder спустя разумный window пользователям с consent.
Основная метрика: purchase rate. Guardrail: message fatigue.
Гипотеза: реальный availability trigger конвертирует dormant demand
Как проверить: Соберите подписки на out-of-stock SKU и уведомите при restock.
Основная метрика: alert→purchase. Guardrail: overselling.
Гипотеза: реальная scarcity ускорит purchase
Как проверить: Показывайте только verified low inventory.
Основная метрика: conversion. Guardrail: trust.
Гипотеза: социальное доказательство снизит risk
Как проверить: Переместите rating/review summary ближе к buy CTA.
Основная метрика: add-to-cart. Guardrail: page clutter.
Гипотеза: реальные customer images улучшат product understanding
Как проверить: Добавьте approved UGC gallery на product page.
Основная метрика: add-to-cart / returns. Guardrail: brand quality.
Гипотеза: помощь выбора снизит returns apparel-like categories
Как проверить: Добавьте size guide/recommender на test products.
Основная метрика: purchase / return rate. Guardrail: tool errors.
Гипотеза: ясная политика возврата снизит perceived risk
Как проверить: Покажите concise return summary возле CTA/checkout.
Основная метрика: conversion. Guardrail: return abuse.
Гипотеза: сравнение с regular/set price повысит perceived value при честной базе
Как проверить: Тестируйте только реальный reference price.
Основная метрика: conversion. Guardrail: trust/compliance.
Гипотеза: offer после оплаты увеличит AOV без checkout friction
Как проверить: Покажите one-click relevant add-on после transaction.
Основная метрика: incremental contribution. Guardrail: refund/support.
Гипотеза: напоминание по expected consumption interval повысит repeat
Как проверить: Рассчитайте interval по product/cohort и отправьте near-window.
Основная метрика: repeat purchase. Guardrail: contact fatigue.
Гипотеза: понятная обработка payment failure вернёт часть заказов
Как проверить: Добавьте specific retry guidance/alternative payment.
Основная метрика: recovered orders. Guardrail: duplicate charge risk.
Гипотеза: часть cart-recovery revenue неинкрементальна
Как проверить: Оставьте persistent control без cart message для небольшой группы.
Основная метрика: incremental revenue. Guardrail: customer experience.
Для каждого experiment смотрите funnel: product view → add-to-cart → checkout → payment success → net order → return/refund → repeat. AOV и conversion полезны только вместе с contribution. Для shipping/bundle experiments учитывайте fulfillment cost.
Праздники, распродажи и stock constraints сильно меняют baseline. Не сравнивайте treatment в пиковую неделю с control в обычную. По возможности запускайте одновременно или используйте matched categories/geographies.
Если leakage на PDP — proof, sizing, pricing, availability. Если cart — recommendations, shipping threshold, clarity. Если checkout — fields, payments, delivery, errors. Если repeat — reorder, lifecycle и product experience.
Скидочные experiments должны иметь отдельный holdout и downstream window. Победитель по заказам может проиграть по contribution и full-price repeat. Фиксируйте promo exposure на уровне customer cohort.
Если experiment повышает conversion за счёт более агрессивного promise, bundle или size recommendation, смотрите return rate после достаточного окна. Gross orders могут расти, а net contribution падать. Для категорий с длинным возвратным окном решение о rollout принимайте после matured cohort.
Mobile traffic часто имеет выше friction: маленький экран, медленный ввод, переключение между приложениями для платежа. Отдельно анализируйте form errors, payment abandonment и keyboard/input issues. Победитель desktop не обязательно победит mobile.
E-commerce experiments зависят от stock и product mix. Не сравнивайте categories с разной margin, availability и return behavior как один cohort. Для merchandising tests фиксируйте assortment exposure и inventory constraints.
Recommendation engine должен оцениваться не по clicks на suggested items, а по incremental contribution и returns. Популярный товар может просто cannibalize то, что customer купил бы сам. Holdout особенно полезен для cart/product recommendations.
Free/fast delivery создаёт сильный conversion effect, но влияет на logistics economics. Считайте incremental orders, shipping subsidy, failed deliveries и repeat. Не обещайте SLA, который operations не выдерживает.
Платёжный experiment может повышать success rate и одновременно увеличивать fraud/chargeback. Для новых payment methods добавляйте authorization rate, fee, chargeback и settlement delay.
Для consumables и frequent-purchase categories обязательно связывайте first-order experiment с repeat cohort. Новый-customer discount, который привёл promo-only buyers, часто выглядит успешным в первые 7 дней и слабым на горизонте 60–90 дней.