Определение
Доверительный интервал (ДИ) — это диапазон значений, внутри которого с заданной вероятностью (уровнем доверия) находится истинное значение оцениваемого параметра генеральной совокупности. В контексте DTC-аналитики и e-commerce это инструмент, который позволяет сказать не «конверсия равна 3,2%», а «мы на 95% уверены, что конверсия находится в диапазоне от 2,8% до 3,6%».
Ключевая идея: любая точечная оценка (средний чек, CR, CAC, LTV) — это лишь выборочное значение. Доверительный интервал добавляет к ней меру неопределённости, вызванную ограниченным объёмом данных и естественной вариативностью.
Формально: если мы построим 100 независимых выборок и для каждой рассчитаем 95%-й ДИ, то примерно в 95 из 100 случаев истинный параметр попадёт внутрь интервала.
Аналогия из e-commerce
Представьте, что вы тестируете новый лендинг на трафике из Instagram. За неделю пришло 2 400 сессий, из них 96 оформили заказ — конверсия 4,0%. Но если завтра вы запустите ту же страницу на аудитории TikTok, CR может оказаться 3,1% или 4,8% просто из-за случайности.
Доверительный интервал — это «коридор допустимых колебаний». Точно так же, как вы не судите о качестве товара по одному отзыву, вы не судите о реальной конверсии по одной выборке. ДИ говорит: «Настоящая конверсия, скорее всего, где-то здесь».
Другой пример: средний чек. Если по 50 заказам AOV = 4 200 ₽, а ДИ = [3 500 ₽; 4 900 ₽], запускать ли бесплатную доставку от 5 000 ₽? Интервал показывает, что реальный AOV может не дотягивать до порога — риск.
Формула
Для средней величины (например, AOV) при известной или оценённой дисперсии:
ДИ = x̄ ± z × (σ / √n)
Где:
- x̄ — выборочное среднее
- z — критическое значение (1,645 для 90%; 1,96 для 95%; 2,576 для 99%)
- σ — стандартное отклонение
- n — размер выборки
Для доли (конверсии, CTR, доли возвратов):
ДИ = p̂ ± z × √( p̂(1 − p̂) / n )
Где p̂ — выборочная доля.
Пример 1. CR = 4,0% (p̂ = 0,04), n = 2 400, уровень доверия 95% (z = 1,96):
SE = √(0,04 × 0,96 / 2400) = √(0,000016) ≈ 0,004 ДИ = 0,04 ± 1,96 × 0,004 = 0,04 ± 0,00784 ДИ = [3,22%; 4,78%]
Пример 2. AOV = 4 200 ₽, σ = 1 100 ₽, n = 50, z = 1,96:
SE = 1100 / √50 ≈ 155,6 ДИ = 4200 ± 1,96 × 155,6 = 4200 ± 305 ДИ = [3 895 ₽; 4 505 ₽]
Пример 3. CAC = 1 850 ₽, σ = 420 ₽, n = 120, z = 1,645 (90%):
SE = 420 / √120 ≈ 38,3 ДИ = 1850 ± 1,645 × 38,3 = 1850 ± 63 ДИ = [1 787 ₽; 1 913 ₽]
Чем больше n, тем уже интервал. Чем выше требуемый уровень доверия, тем шире интервал.
Сравнение уровней доверия
| Уровень | z-значение | Ширина ДИ (пример CR 4%, n=2400) | Когда использовать |
|---|---|---|---|
| 90% | 1,645 | [3,34%; 4,66%] | Быстрые A/B-тесты, скрининг гипотез |
| 95% | 1,960 | [3,22%; 4,78%] | Стандарт для отчётности и решений |
| 99% | 2,576 | [3,02%; 4,98%] | Финансовые прогнозы, бюджетирование |
| 99,9% | 3,291 | [2,84%; 5,16%] | Медицинские/регуляторные кейсы |
Обратите внимание: рост уровня доверия с 95% до 99% увеличивает ширину интервала примерно на 31% — приходится «платить» точностью за уверенность.
Применение в DTC и e-commerce
1. A/B-тестирование лендингов. Сравнивайте не точечные CR, а пересечение доверительных интервалов. Если ДИ контрольной и тестовой групп пересекаются — статистически значимой разницы нет.
2. Прогноз выручки. Зная ДИ по AOV и по количеству заказов, можно построить диапазон ожидаемой месячной выручки: например, 4 000 заказов × [3 895 ₽; 4 505 ₽] = [15,6 млн ₽; 18,0 млн ₽].
3. Оценка CAC по каналам. Сравнивайте ДИ CAC между Facebook Ads и Google Ads — канал с более узким интервалом даёт более предсказуемую экономику.
4. Контроль качества поставок. Доля брака в партии: если ДИ [1,2%; 3,8%], а SLA допускает до 2%, нужно либо увеличить выборку, либо ужесточить приёмку.
5. LTV-когорты. Ранние когорты имеют широкие ДИ — не принимайте решение о масштабировании на данных 30 клиентов.
Частые заблуждения
«95% ДИ означает, что истинный параметр с вероятностью 95% внутри интервала». Строго говоря, в частотной статистике параметр фиксирован, а интервал случаен. Корректная формулировка: «95% таких интервалов, построенных по выборкам, накроют истинное значение».
«Если ДИ пересекаются, разницы нет». Пересечение — не доказательство отсутствия эффекта. Для корректного вывода нужен тест на разность или ДИ для разности.
«Широкий ДИ = плохие данные». Скорее — мало данных или высокая вариативность. Иногда это честный сигнал: выборки недостаточно для решения.
«Можно сужать ДИ произвольно». Уровень доверия задаётся заранее. Постфактум выбирать 80% вместо 95%, чтобы «получить значимость», — это p-hacking.
«ДИ заменяет бизнес-логику». Даже статистически значимый рост CR на 0,3 п.п. может не окупать затраты на новую страницу.
Связанные термины
- Уровень значимости (α) — 1 минус уровень доверия; для 95% ДИ α = 0,05.
- Стандартная ошибка (SE) — σ/√n; основа ширины интервала.
- P-value — вероятность наблюдать такие данные при верной нулевой гипотезе.
- Мощность теста (Power) — вероятность обнаружить реальный эффект.
- Bootstrap-интервал — непараметрический метод построения ДИ через ресэмплинг.
- Байесовский доверительный интервал (credible interval) — интервал, в который параметр попадает с заданной вероятностью по апостериорному распределению.
- Минимальный детектируемый эффект (MDE) — наименьший эффект, который тест способен поймать при заданных α и мощности.