Определение
Lift (лифт, или относительный прирост) — это метрика, которая показывает, насколько целевой показатель изменился в экспериментальной группе по сравнению с контрольной. Простыми словами: на сколько процентов лучше (или хуже) сработал новый подход относительно базового.
В DTC и e-commerce Lift чаще всего считают для конверсии, среднего чека (AOV), выручки на пользователя (ARPU), retention и CTR. Если контрольная группа — это «как было», а тестовая — «как стало», то Lift отвечает на вопрос: «А стоило ли вообще что-то менять?»
Ключевая особенность: Lift — это относительная величина, а не абсолютная. Поэтому её нельзя путать с разницей в процентных пунктах (pp). Например, рост конверсии с 2% до 2,4% — это +0,4 п.п., но Lift = +20%.
Аналогия
Представьте, что вы тестируете два промокода в email-рассылке.
- Контрольная группа получает скидку 10% → конверсия в покупку 4%.
- Тестовая группа получает скидку 15% → конверсия 5%.
Разница в 1 п.п. кажется небольшой, но Lift = (5 − 4) / 4 = +25%. То есть новая механика дала на четверть больше покупок относительно базы. Именно Lift позволяет понять масштаб эффекта, а не только факт «стало чуть лучше».
Ещё одна аналогия — спидометр. Абсолютная разница «+1 п.п.» — это как «+10 км/ч». А Lift — это «+25% к скорости». Для бизнеса второе часто важнее, потому что отражает эффективность вложений.
Формула
$$
\text{Lift} = \frac{\text{Метрика}_{\text{тест}} - \text{Метрика}_{\text{контроль}}}{\text{Метрика}_{\text{контроль}}} \times 100\%
$$
Альтернативная запись:
$$
\text{Lift} = \left( \frac{\text{Метрика}_{\text{тест}}}{\text{Метрика}_{\text{контроль}}} - 1 \right) \times 100\%
$$
Пример 1. Конверсия в заказ: контроль 3,2%, тест 3,8%.
Lift = (3,8 − 3,2) / 3,2 × 100% = +18,75%.
Пример 2. ARPU: контроль 1 200 ₽, тест 1 380 ₽.
Lift = (1 380 − 1 200) / 1 200 × 100% = +15%.
Пример 3. Retention D7: контроль 22%, тест 19%.
Lift = (19 − 22) / 22 × 100% = −13,6% (отрицательный лифт — тест ухудшил метрику).
Сравнение метрик
| Метрика | Что показывает | Пример | Когда использовать |
|---|---|---|---|
| **Lift (относительный прирост)** | На сколько % изменился показатель относительно базы | +18,75% | Оценка масштаба эффекта, приоритизация гипотез |
| **Абсолютная разница (п.п.)** | На сколько пунктов изменился показатель | +0,6 п.п. | Быстрая оценка «в лоб», коммуникация с командой |
| **Uplift (в ML-контексте)** | Инкрементальный эффект от воздействия на конкретного пользователя | +2,1% к вероятности покупки | Uplift-моделирование, таргетинг акций |
| **Statistical significance (p-value)** | Вероятность случайности результата | p = 0,03 | Проверка, можно ли доверять лифту |
Важно: Lift без статистической значимости — это просто шум. Красивый +30% на выборке в 200 человек может не значить ничего.
Где применяется в DTC/e-commerce
1. A/B-тесты лендингов и карточек товара. Сравниваем конверсию в корзину и в заказ. Lift по CR — главный KPI.
2. Email и push-кампании. Тестируем тему письма, время отправки, сегмент. Смотрим Lift по open rate и CTR.
3. Программы лояльности и промо. Оцениваем, даёт ли дополнительная скидка реальный прирост выручки или просто каннибализирует продажи.
4. Рекламные кампании. Сравниваем ROAS и CPA между креативами и аудиториями. Lift по ROAS = +12% — повод масштабировать.
5. Изменения в checkout. Убрали одно поле — Lift по завершённым заказам +7%. Это уже деньги.
6. Retention и LTV. Тестируем onboarding-цепочку, смотрим Lift по D7/D30 retention.
Частые ошибки
- Путать Lift с процентными пунктами. «Конверсия выросла на 20%» и «выросла на 20 п.п.» — это разные вселенные. В DTC это критично для отчётности.
- Игнорировать статистическую значимость. Lift +5% при p = 0,4 — это не результат, а случайность.
- Смотреть только на Lift, забывая про абсолютные значения. Lift +50% на метрике с базой 0,1% — это всё ещё 0,15%. Может не стоить усилий.
- Сравнивать Lift на разных базах. +20% от конверсии 2% и +20% от конверсии 10% — разный бизнес-эффект.
- Не учитывать сезонность и внешние факторы. Если тест шёл в Чёрную пятницу, Lift может быть завышен.
- Останавливать тест слишком рано. Peeking (подглядывание) искажает Lift и p-value.
- Забывать про novelty effect. Новый дизайн может дать всплеск, который исчезнет через 2 недели.
Связанные термины
- A/B-тест — метод, в рамках которого считается Lift.
- Контрольная и тестовая группа — база для расчёта.
- Статистическая значимость (p-value) — проверка достоверности Lift.
- Доверительный интервал — диапазон, в котором находится истинный Lift.
- MDE (Minimum Detectable Effect) — минимальный Lift, который тест способен поймать.
- Uplift-моделирование — предсказание индивидуального эффекта.
- ARPU, AOV, CR, Retention — метрики, для которых чаще всего считают Lift.
- Power analysis — расчёт размера выборки под ожидаемый Lift.