Что это такое
A/B-тестирование (его ещё называют сплит-тестом) — это метод эксперимента, при котором трафик случайным образом распределяется между двумя или более версиями одной и той же страницы. Пользователи попадают на разные варианты, а вы затем сравниваете метрики: конверсию, средний чек, глубину просмотра, добавления в корзину. Побеждает версия, которая показывает лучший результат на статистически значимой выборке.
Для DTC-бренда это не «фича аналитики», а рабочий инструмент. Каждый рубль, вложенный в трафик, должен приносить максимум заказов. A/B-тест позволяет не гадать, а проверять гипотезы на реальных покупателях.
Аналогия
Представьте, что вы владеете кофейней и хотите понять, какая вывеска привлекает больше гостей. Вы ставите две вывески на двух одинаковых входах и считаете, сколько людей зашло в каждый. Через неделю становится ясно, какая работает лучше. В онлайн-торговле всё то же самое: вместо вывески — кнопка «Купить», баннер на главной или текст в письме, вместо входа — посадочная страница, а вместо прохожих — сессии из рекламных каналов.
Как это работает: формула
Ключевая метрика — коэффициент конверсии (CR):
CR = (Количество конверсий / Количество сессий) × 100%
Пример: вариант A получил 10 000 сессий и 250 заказов → CR = 2,5%. Вариант B получил 10 000 сессий и 320 заказов → CR = 3,2%. Прирост: (3,2 − 2,5) / 2,5 × 100% = +28%.
Чтобы результат был надёжным, нужна статистическая значимость. Для этого считают p-value и доверительный уровень. Стандарт в e-commerce — 95% (p < 0,05). Если тест не набрал значимость, результат считается случайным.
Минимальный размер выборки можно оценить по формуле:
n = 16 × (p1 × (1 − p1) + p2 × (1 − p2)) / (p2 − p1)²
Где p1 и p2 — ожидаемые конверсии. Для базовой конверсии 2,5% и ожидаемого роста до 3,0% потребуется примерно 16 000 сессий на вариант.
Сравнение подходов
| Параметр | A/B-тест | Многовариантный тест (A/B/n) | Персонализация без теста |
|---|---|---|---|
| Количество версий | 2 | 3 и более | Много |
| Сложность запуска | Низкая | Средняя | Высокая |
| Нужный трафик | 10 000–20 000 сессий | 30 000+ сессий | Зависит от сегментов |
| Скорость получения вывода | 1–2 недели | 3–4 недели | Постоянно |
| Риск ошибки | Низкий | Средний | Высокий |
| Подходит для DTC на старте | Да | Нет | Нет |
Где применять в DTC
1. Карточка товара. Тестируйте главное фото, порядок блоков, наличие видео, длину описания. Например, замена статичного фото на видео подняла CR карточки с 1,8% до 2,4% — прирост +33%.
2. Кнопка «В корзину». Цвет, текст, расположение. Тест «Добавить в корзину» против «Купить сейчас» часто даёт разницу в 5–15% по добавлениям.
3. Главная страница. Баннер, оффер, блок с отзывами. Проверка бесплатной доставки в шапке может увеличить CR на 8–12%.
4. Email-рассылки. Тема письма, превью, CTA. Здесь A/B-тест занимает часы, а не недели.
5. Ценовые и промо-блоки. Например, «−20% на первый заказ» против «Бесплатная доставка от 3 000 ₽». Тест покажет, что важнее для вашей аудитории.
6. Мобильная версия. Отдельный тест для мобильного трафика обязателен: там CR может отличаться в 2–3 раза от десктопа.
Частые ошибки
Остановка теста слишком рано. Если вы увидели рост на второй день и выключили тест — результат недостоверен. Нужно дождаться расчётного размера выборки.
Тестирование всего сразу. Если менять и фото, и цену, и кнопку — вы не поймёте, что именно сработало. Меняйте одну переменную за раз.
Игнорирование сезонности. Запуск теста в Чёрную пятницу исказит данные. Сравнивайте периоды с сопоставимым спросом.
Отсутствие сегментации. Новый посетитель и постоянный клиент ведут себя по-разному. Считайте метрики отдельно по новым и возвращающимся.
Слепое доверие к «победителю». Даже значимый результат может не воспроизвестись. Проверяйте повторно на другом трафике.
Тест без гипотезы. «Давайте попробуем другой цвет» — не гипотеза. Гипотеза звучит так: «Замена серой кнопки на контрастную увеличит добавления в корзину на 10%, потому что текущая сливается с фоном».
Связанные термины
- Конверсия (CR) — доля сессий, завершившихся целевым действием.
- Статистическая значимость — вероятность, что результат не случаен.
- Многовариантный тест (A/B/n) — сравнение трёх и более версий.
- Сплит-тест — синоним A/B-теста, чаще используется в email-маркетинге.
- Персонализация — адаптация контента под сегмент без прямого сравнения.
- CRO (Conversion Rate Optimization) — система работы над ростом конверсии, частью которой является A/B-тестирование.
- Holdout-группа — контрольная группа, не подвергающаяся изменениям, для оценки общего эффекта.
A/B-тест — это не разовое мероприятие, а регулярный процесс. Сильные DTC-команды запускают по 2–4 теста в месяц и накапливают знания о своей аудитории. Именно эти знания, а не бюджет на рекламу, становятся главным конкурентным преимуществом.