Перед запуском
Проверьте корректность product feed, stock, price, payment events, taxes, delivery и returns tracking. Сегментируйте mobile/desktop, new/repeat и category. Не тестируйте copy поверх сломанного checkout.
Эксперимент 1. Guest checkout
Гипотеза: отказ от обязательной регистрации снизит checkout friction
Как проверить: Разрешите гостевое оформление части трафика, account creation предложите после покупки.
Основная метрика: checkout completion. Guardrail: account creation rate.
Эксперимент 2. One-page checkout
Гипотеза: меньше переходов сократит abandonment
Как проверить: Сравните one-page и multi-step checkout при одинаковых полях.
Основная метрика: purchase conversion. Guardrail: error rate.
Эксперимент 3. Progress indicator
Гипотеза: видимый прогресс снизит uncertainty в multi-step checkout
Как проверить: Добавьте 3–4 понятных шага и текущий статус.
Основная метрика: checkout completion. Guardrail: page complexity.
Эксперимент 4. Autofill address
Гипотеза: автозаполнение адреса уменьшит ошибки и время
Как проверить: Включите address autocomplete для test cohort.
Основная метрика: checkout completion / time. Guardrail: wrong address rate.
Эксперимент 5. Payment methods order
Гипотеза: популярный метод выше увеличит completion
Как проверить: Измените порядок методов на основе historical usage.
Основная метрика: payment success. Guardrail: support/payment fees.
Эксперимент 6. Express payment
Гипотеза: Apple/Google/other express wallet сократит mobile friction
Как проверить: Покажите eligible express payment до обычной формы.
Основная метрика: mobile conversion. Guardrail: payment fee.
Эксперимент 7. Delivery date visibility
Гипотеза: ранняя дата доставки повысит purchase confidence
Как проверить: Покажите expected delivery на PDP/cart до checkout.
Основная метрика: purchase conversion. Guardrail: promise accuracy.
Эксперимент 8. Free-shipping threshold
Гипотеза: порог доставки увеличит AOV без потери contribution
Как проверить: Тестируйте threshold относительно текущего AOV и margin.
Основная метрика: contribution per session. Guardrail: conversion.
Эксперимент 9. Free shipping vs discount
Гипотеза: доставка воспринимается ценнее эквивалентной скидки
Как проверить: Сравните экономически сопоставимые offers.
Основная метрика: contribution / conversion. Guardrail: AOV.
Эксперимент 10. Cart progress to free shipping
Гипотеза: визуальный прогресс увеличит basket size
Как проверить: Покажите сколько осталось до threshold.
Основная метрика: AOV / contribution. Guardrail: unneeded add-ons.
Эксперимент 11. Product recommendations in cart
Гипотеза: релевантный cross-sell повысит AOV
Как проверить: Показывайте 2–4 complementary items, не generic bestsellers.
Основная метрика: AOV / attach rate. Guardrail: checkout distraction.
Эксперимент 12. Bundle offer
Гипотеза: логичный bundle повысит units per order
Как проверить: Сравните bundle и отдельные товары с прозрачной экономией.
Основная метрика: contribution / AOV. Guardrail: returns.
Эксперимент 13. Quantity break
Гипотеза: volume pricing повысит units/order
Как проверить: Тестируйте 2/3+ units для repeatable products.
Основная метрика: contribution per order. Guardrail: margin.
Эксперимент 14. Wishlist reminder
Гипотеза: saved intent можно вернуть без скидки
Как проверить: Отправьте reminder спустя разумный window пользователям с consent.
Основная метрика: purchase rate. Guardrail: message fatigue.
Эксперимент 15. Back-in-stock alert
Гипотеза: реальный availability trigger конвертирует dormant demand
Как проверить: Соберите подписки на out-of-stock SKU и уведомите при restock.
Основная метрика: alert→purchase. Guardrail: overselling.
Эксперимент 16. Low-stock signal
Гипотеза: реальная scarcity ускорит purchase
Как проверить: Показывайте только verified low inventory.
Основная метрика: conversion. Guardrail: trust.
Эксперимент 17. Reviews near CTA
Гипотеза: социальное доказательство снизит risk
Как проверить: Переместите rating/review summary ближе к buy CTA.
Основная метрика: add-to-cart. Guardrail: page clutter.
Эксперимент 18. UGC photos
Гипотеза: реальные customer images улучшат product understanding
Как проверить: Добавьте approved UGC gallery на product page.
Основная метрика: add-to-cart / returns. Guardrail: brand quality.
Эксперимент 19. Size/fit tool
Гипотеза: помощь выбора снизит returns apparel-like categories
Как проверить: Добавьте size guide/recommender на test products.
Основная метрика: purchase / return rate. Guardrail: tool errors.
Эксперимент 20. Returns policy visibility
Гипотеза: ясная политика возврата снизит perceived risk
Как проверить: Покажите concise return summary возле CTA/checkout.
Основная метрика: conversion. Guardrail: return abuse.
Эксперимент 21. Price anchoring
Гипотеза: сравнение с regular/set price повысит perceived value при честной базе
Как проверить: Тестируйте только реальный reference price.
Основная метрика: conversion. Guardrail: trust/compliance.
Эксперимент 22. Post-purchase upsell
Гипотеза: offer после оплаты увеличит AOV без checkout friction
Как проверить: Покажите one-click relevant add-on после transaction.
Основная метрика: incremental contribution. Guardrail: refund/support.
Эксперимент 23. Reorder reminder
Гипотеза: напоминание по expected consumption interval повысит repeat
Как проверить: Рассчитайте interval по product/cohort и отправьте near-window.
Основная метрика: repeat purchase. Guardrail: contact fatigue.
Эксперимент 24. Checkout error recovery
Гипотеза: понятная обработка payment failure вернёт часть заказов
Как проверить: Добавьте specific retry guidance/alternative payment.
Основная метрика: recovered orders. Guardrail: duplicate charge risk.
Эксперимент 25. Abandoned cart holdout
Гипотеза: часть cart-recovery revenue неинкрементальна
Как проверить: Оставьте persistent control без cart message для небольшой группы.
Основная метрика: incremental revenue. Guardrail: customer experience.
Как анализировать результат
Для каждого experiment смотрите funnel: product view → add-to-cart → checkout → payment success → net order → return/refund → repeat. AOV и conversion полезны только вместе с contribution. Для shipping/bundle experiments учитывайте fulfillment cost.
Как работать с сезонностью
Праздники, распродажи и stock constraints сильно меняют baseline. Не сравнивайте treatment в пиковую неделю с control в обычную. По возможности запускайте одновременно или используйте matched categories/geographies.
Как выбирать следующий тест
Если leakage на PDP — proof, sizing, pricing, availability. Если cart — recommendations, shipping threshold, clarity. Если checkout — fields, payments, delivery, errors. Если repeat — reorder, lifecycle и product experience.
Как избегать промозависимости
Скидочные experiments должны иметь отдельный holdout и downstream window. Победитель по заказам может проиграть по contribution и full-price repeat. Фиксируйте promo exposure на уровне customer cohort.
Как учитывать возвраты
Если experiment повышает conversion за счёт более агрессивного promise, bundle или size recommendation, смотрите return rate после достаточного окна. Gross orders могут расти, а net contribution падать. Для категорий с длинным возвратным окном решение о rollout принимайте после matured cohort.
Как учитывать мобильный checkout
Mobile traffic часто имеет выше friction: маленький экран, медленный ввод, переключение между приложениями для платежа. Отдельно анализируйте form errors, payment abandonment и keyboard/input issues. Победитель desktop не обязательно победит mobile.
Как работать с ассортиментом
E-commerce experiments зависят от stock и product mix. Не сравнивайте categories с разной margin, availability и return behavior как один cohort. Для merchandising tests фиксируйте assortment exposure и inventory constraints.
Как проверять рекомендации товаров
Recommendation engine должен оцениваться не по clicks на suggested items, а по incremental contribution и returns. Популярный товар может просто cannibalize то, что customer купил бы сам. Holdout особенно полезен для cart/product recommendations.
Как тестировать доставку
Free/fast delivery создаёт сильный conversion effect, но влияет на logistics economics. Считайте incremental orders, shipping subsidy, failed deliveries и repeat. Не обещайте SLA, который operations не выдерживает.
Как учитывать payment failures
Платёжный experiment может повышать success rate и одновременно увеличивать fraud/chargeback. Для новых payment methods добавляйте authorization rate, fee, chargeback и settlement delay.
Как измерять repeat
Для consumables и frequent-purchase categories обязательно связывайте first-order experiment с repeat cohort. Новый-customer discount, который привёл promo-only buyers, часто выглядит успешным в первые 7 дней и слабым на горизонте 60–90 дней.