Margin of Error

Что это такое

Margin of Error (MoE) — это допустимое отклонение выборочной оценки от истинного значения генеральной совокупности. Простыми словами: когда вы видите цифру «конверсия 4,2%», MoE показывает, насколько эта цифра может «гулять» в реальности. Если MoE = ±0,5%, значит истинная конверсия с высокой вероятностью лежит в диапазоне от 3,7% до 4,7%.

В DTC-аналитике MoE — это не академическая абстракция, а рабочий инструмент. Он отвечает на главный вопрос founder'а: «Мы действительно улучшили CR, или это просто шум в данных?»

Аналогия из e-commerce

Представьте, что вы тестируете новый лендинг на 500 посетителях. Получили CR = 5,0%. Но 500 человек — это лишь выборка из потенциальных 50 000. MoE говорит: «С вероятностью 95% истинная конверсия где-то между 3,1% и 6,9%». То есть разница между «отличный лендинг» и «средний лендинг» может быть просто случайностью. Именно поэтому A/B-тесты без расчёта MoE — это гадание на кофейной гуще.

Формула

Для доли (конверсии, CTR, open rate):

MoE = z × √( p × (1 − p) / n )

Где:

- z — z-score для уровня доверия (1,645 для 90%, 1,96 для 95%, 2,576 для 99%)

- p — наблюдаемая доля (например, 0,05 для CR 5%)

- n — размер выборки

Пример 1. CR = 5%, n = 1000, доверие 95%:

MoE = 1,96 × √(0,05 × 0,95 / 1000) = 1,96 × 0,00689 = ±1,35%

Истинный CR: от 3,65% до 6,35%.

Пример 2. CR = 5%, n = 10 000, доверие 95%:

MoE = 1,96 × √(0,05 × 0,95 / 10000) = ±0,43%

Увеличение выборки в 10 раз сократило MoE в ~3,16 раза (√10).

Пример 3. Средний чек (метрика-среднее), n = 500, σ = 3200 ₽:

MoE = 1,96 × 3200 / √500 = ±280 ₽

Сравнение: MoE vs P-value vs Доверительный интервал

Ключевая связка: CI = оценка ± MoE. P-value отвечает на вопрос «есть ли эффект», MoE — «насколько точно мы его измерили».

Где это критично в DTC

1. A/B-тесты на лендингах и PDP. Если у вас 3 000 сессий в месяц, а baseline CR = 2%, MoE при 95% доверии = ±0,5%. То есть lift меньше 0,5 п.п. вы физически не отличите от шума. Нужно либо больше трафика, либо тестировать более радикальные гипотезы.

2. Email-рассылки. Open rate 22% на сегменте из 8 000 подписчиков даёт MoE = ±0,91%. Разница между 22% и 23% — статистически незначима. Не переписывайте subject line на основе такого теста.

3. Опросы клиентов (NPS, CSAT). NPS, посчитанный на 150 ответах, имеет MoE около ±8 пунктов. Строить стратегию удержания на такой цифре — рискованно.

4. Прогнозы выручки. Если средний чек измерен с MoE ±280 ₽ на базе 500 заказов, прогноз на 10 000 заказов даст вилку ±2,8 млн ₽. Это критично для планирования закупок и cash flow.

5. Атрибуция в рекламе. При малых выборках в узких сегментах (например, ретаргетинг на 400 человек) MoE может достигать ±5%, что делает ROAS-отчёты иллюзорными.

Частые ошибки

- Игнорировать MoE при малых выборках. 100 конверсий — это ещё не сигнал, а гипотеза.

- Сравнивать два показателя без проверки перекрытия CI. Если CI пересекаются — разница незначима.

- Путать MoE с ошибкой измерения. MoE — про случайность выборки, а не про баги в трекинге.

- Считать MoE для генеральной совокупности. Если у вас данные по всем 100% клиентов (например, из CRM), MoE не нужен — это не выборка.

- Останавливать тест при первом «победителе». Peeking inflates false positive rate; MoE рассчитан на фиксированный n.

- Применять формулу для долей к метрикам-средним. Для AOV, LTV, времени на сайте нужна формула со стандартным отклонением.

Связанные термины

- Confidence Level (Уровень доверия) — вероятность, с которой истинное значение попадает в интервал.

- Confidence Interval (Доверительный интервал) — диапазон вокруг оценки.

- Statistical Significance (Статистическая значимость) — ситуация, когда эффект превышает MoE.

- Sample Size (Размер выборки) — определяет величину MoE.

- P-value — вероятность получить результат при верной нулевой гипотезе.

- Statistical Power (Мощность теста) — 1 − β, шанс не пропустить реальный эффект.

- Selection Bias (Ошибка выборки) — искажение, которое MoE не покрывает.

- A/B Testing — основной сценарий применения MoE в DTC.