Définition
En analyse de données appliquée au e-commerce et au DTC, un intervalle de confiance est une plage de valeurs construite autour d’une estimation ponctuelle (moyenne, taux de conversion, panier moyen, ROAS…) dans laquelle la vraie valeur du paramètre a une probabilité donnée de se trouver. On parle d’un IC à 95 %, 90 % ou 99 %, selon le niveau de confiance choisi.
Concrètement : au lieu d’affirmer « le taux de conversion de ma landing page est de 3,2 % », on dira « le taux de conversion se situe entre 2,7 % et 3,7 % avec un niveau de confiance de 95 % ». Cette nuance est capitale en DTC, où les décisions d’achat média, de pricing ou de scaling produit reposent sur des signaux souvent bruités.
Un IC n’est pas une probabilité que le paramètre soit dans l’intervalle. C’est une propriété de la méthode : si l’on répétait l’expérience 100 fois, environ 95 des intervalles calculés contiendraient la vraie valeur.
Analogie
Imaginez que vous testez une nouvelle créa publicitaire sur Meta. Vous ne pouvez pas la montrer à toute la population de vos clients potentiels : vous en exposez un échantillon. Le taux de clic observé sur cet échantillon est une photo instantanée. L’intervalle de confiance, c’est le cadre photo : il vous dit à quel point cette photo est floue.
Plus l’échantillon est grand, plus le cadre se resserre. Plus la variabilité est forte (ex. : un produit niche avec des comportements d’achat erratiques), plus le cadre s’élargit. Un IC large ne signifie pas que votre test est mauvais : il signifie que vous devez accumuler plus de données avant de trancher.
Autre analogie DTC : c’est comme estimer le panier moyen d’un nouveau segment d’audience à partir de 200 commandes. L’IC vous donne la fourchette réaliste dans laquelle ce panier moyen se situera une fois le segment scalé à 20 000 commandes.
Formule
Pour une moyenne, avec un échantillon de taille suffisante (n > 30) :
\[
IC = \bar{x} \pm z \times \frac{\sigma}{\sqrt{n}}
\]
Où :
- \(\bar{x}\) = moyenne observée sur l’échantillon
- \(z\) = score critique lié au niveau de confiance (1,645 pour 90 % ; 1,96 pour 95 % ; 2,576 pour 99 %)
- \(\sigma\) = écart-type de la population (ou de l’échantillon si n est grand)
- \(n\) = taille de l’échantillon
Pour une proportion (taux de conversion, taux d’ouverture email, taux de retour) :
\[
IC = \hat{p} \pm z \times \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
\]
Où \(\hat{p}\) est la proportion observée.
Exemple concret 1 : taux de conversion observé = 3,2 % sur 5 000 sessions. IC à 95 % :
\[
0,032 \pm 1,96 \times \sqrt{\frac{0,032 \times 0,968}{5000}} = 0,032 \pm 0,0049
\]
Soit [2,71 % ; 3,69 %].
Exemple concret 2 : panier moyen = 68 €, écart-type = 22 €, n = 1 200 commandes. IC à 95 % :
\[
68 \pm 1,96 \times \frac{22}{\sqrt{1200}} = 68 \pm 1,25
\]
Soit [66,75 € ; 69,25 €].
Exemple concret 3 : ROAS moyen = 2,4 sur 400 conversions, écart-type = 0,9. IC à 90 % :
\[
2,4 \pm 1,645 \times \frac{0,9}{\sqrt{400}} = 2,4 \pm 0,074
\]
Soit [2,33 ; 2,47].
Tableau comparatif
| Élément | Intervalle de confiance (IC) | Intervalle de crédibilité (bayésien) | Test A/B classique |
|---|---|---|---|
| Interprétation | Fréquentiste : 95 % des IC contiennent la vraie valeur | Probabilité directe que le paramètre soit dans l’intervalle | Décision binaire : gagnant / perdant |
| Ce qu’on obtient | Une plage de valeurs plausibles | Une distribution a posteriori | Une p-value |
| Utilité DTC | Estimer un KPI avec incertitude | Mettre à jour une croyance avec des données | Trancher entre deux variantes |
| Sensibilité à la taille d’échantillon | Oui, l’IC se resserre avec n | Oui, via la posterior | Oui, la p-value diminue avec n |
| Risque principal | Mauvaise interprétation fréquentiste | Choix du prior | Sur-optimisation, peeking |
Applications en DTC / e-commerce
- Landing pages et tunnels de conversion : encadrer le taux de conversion réel d’une page produit avant de décider d’un scaling publicitaire.
- Achat média : vérifier si le ROAS d’un canal est significativement supérieur à 1,5 ou si l’IC inclut cette valeur seuil.
- Pricing et promotions : estimer le panier moyen d’un segment avec une marge d’erreur acceptable avant de lancer une offre.
- Rétention et LTV : construire des IC sur le taux de réachat à 30, 60, 90 jours pour prioriser les actions CRM.
- Tests créatifs : comparer deux créas non pas sur le CTR brut, mais sur le chevauchement de leurs IC. Si les intervalles se chevauchent, la différence n’est pas concluante.
- Stock et demande : prévoir une fourchette de demande plutôt qu’une valeur unique pour dimensionner les réassorts.
Erreurs fréquentes
1. Croire que l’IC contient la vraie valeur avec 95 % de probabilité. C’est faux en statistique fréquentiste : la vraie valeur est fixe, c’est l’intervalle qui varie d’un échantillon à l’autre.
2. Confondre IC et intervalle de prédiction. L’IC concerne un paramètre (moyenne, taux), pas une observation individuelle.
3. Utiliser un IC à 95 % pour un petit échantillon sans correction. En dessous de n = 30, il faut la loi de Student ou des méthodes bootstrap.
4. Ignorer le biais de sélection. Un IC calculé sur un échantillon non représentatif reste biaisé, même s’il est étroit.
5. Prendre une décision sur un seul IC. En DTC, on compare souvent deux IC : s’ils se chevauchent, la prudence est de mise.
6. Confondre significativité statistique et significativité business. Un IC étroit autour d’un effet de +0,1 % peut être statistiquement significatif mais commercialement inutile.
Termes liés
- Niveau de confiance : probabilité associée à la méthode (90 %, 95 %, 99 %).
- Marge d’erreur : demi-largeur de l’IC.
- Erreur standard : écart-type de la distribution d’échantillonnage.
- Test A/B : méthode expérimentale souvent accompagnée d’IC pour comparer deux variantes.
- Puissance statistique : probabilité de détecter un effet réel, liée à la taille d’échantillon et à l’IC.
- Intervalle de crédibilité : équivalent bayésien de l’IC.
- Bootstrap : méthode de rééchantillonnage pour construire des IC sans hypothèse de normalité.
- p-value : probabilité d’observer un résultat au moins aussi extrême sous l’hypothèse nulle ; complémentaire mais distincte de l’IC.