A/B Testing

Что это такое

A/B-тестирование — это метод маркетинговых и продуктовых исследований, при котором аудитория случайным образом делится на две (или более) группы, и каждой показывается своя версия одного и того же элемента: страницы, баннера, кнопки, письма, цены или алгоритма рекомендаций. Затем вы сравниваете метрики и оставляете тот вариант, который статистически значимо работает лучше.

В e-commerce это не «мнение дизайнера» и не «так исторически сложилось», а способ принять решение на основе данных. Если вы когда-нибудь спорили с коллегой, какой заголовок на карточке товара продаёт лучше — A/B-тест закрывает этот спор за 7–14 дней.

Аналогия

Представьте, что вы владеете кофейней и хотите понять, какой сироп — ванильный или карамельный — чаще добавляют к латте. Вы не спрашиваете у барменов, что «красивее». Вы две недели по чётным дням предлагаете ваниль, по нечётным — карамель, и считаете, сколько доплатили гости. Это и есть A/B-тест: две версии, случайное распределение, единая метрика, объективный вывод.

В онлайне всё то же самое, только вместо сиропа — кнопка «Купить», а вместо бармена — ваш сайт.

Формула и метрики

Основная метрика — конверсия (CR, Conversion Rate):

CR = (Количество целевых действий / Количество посетителей) × 100%

Прирост конверсии между версиями:

Lift = ((CR_B − CR_A) / CR_A) × 100%

Статистическая значимость обычно проверяется по z-критерию или t-критерию. Минимально допустимый уровень — p-value < 0,05 (95% доверительная вероятность). Если p-value выше, результат считается случайным.

Пример: версия A дала 480 заказов из 12 000 визитов, версия B — 552 из 12 000.

CR_A = 480 / 12 000 = 4,0%
CR_B = 552 / 12 000 = 4,6%
Lift = (4,6 − 4,0) / 4,0 × 100% = +15%

Сравнение подходов

Где применять в DTC и e-commerce

1. Карточка товара. Тестируйте главное фото, порядок блоков, наличие видео, длину описания. На практике смена главного изображения даёт прирост конверсии в карточку на 8–22%.

2. Корзина и чекаут. Одношаговый чекаут против трёхшагового, гостевой заказ против обязательной регистрации. Отказ от обязательной регистрации часто снижает брошенные корзины на 15–30%.

3. Email и push. Тема письма, время отправки, наличие персональной скидки. Тест темы письма может поднять open rate с 18% до 27%.

4. Цены и промо. Психологические цены (990 ₽ vs 1 000 ₽), порог бесплатной доставки, размер скидки.

5. Реклама. Креативы, заголовки, аудитории в Meta Ads, Яндекс.Директе, TikTok Ads. Здесь A/B-тест — обязательный элемент, а не опция.

Частые ошибки

- Слишком маленькая выборка. Меньше 1 000 конверсий на вариант — результат недостоверен. Правило: не останавливайте тест раньше 7 дней, даже если «уже видно».

- Остановка теста на пике. Если выключить тест в первый удачный день, вы поймаете случайный всплеск, а не тренд.

- Тестирование всего сразу. Меняете и кнопку, и цену, и фото — не поймёте, что сработало. Один тест — одна гипотеза.

- Игнорирование сезонности. Чёрная пятница и обычный вторник дают разную базу. Сравнивайте параллельно, а не «до и после».

- Отсутствие гипотезы. «Давайте попробуем» — не гипотеза. Нужна формулировка: «Если добавить отзывы под кнопкой, конверсия вырастет на 10%».

- Ошибка выжившего. Учитывайте тех, кто ушёл, а не только тех, кто купил.

Связанные термины

- Многовариантный тест (MVT) — тестирование сразу нескольких элементов в комбинации.

- Конверсия (CR) — ключевая метрика любого A/B-теста.

- Статистическая значимость — вероятность, что разница не случайна.

- Когортный анализ — удержание и LTV по группам пользователей.

- Юзабилити-тестирование — качественный метод, дополняющий A/B.

- Персонализация — динамическая выдача контента под сегмент.

- CRO (Conversion Rate Optimization) — система постоянных A/B-тестов для роста конверсии.