Taille d’échantillon (Sample Size)
Définition
En analyse de données — et plus particulièrement dans le contexte du e-commerce et du DTC — la taille d’échantillon désigne le nombre d’individus, de sessions, de commandes ou d’événements inclus dans une expérimentation ou une étude. Elle détermine la fiabilité statistique de vos conclusions : plus l’échantillon est grand, plus vous pouvez détecter des effets réels avec confiance, et moins vous risquez de prendre une décision sur la base du hasard.
Concrètement, si vous testez deux versions d’une page produit, d’un email ou d’une créa publicitaire, la taille d’échantillon correspond au nombre de visiteurs exposés à chaque variante. C’est le carburant de votre test A/B : sans volume suffisant, même une différence de conversion spectaculaire peut n’être qu’un mirage.
Analogie
Imaginez que vous voulez savoir si votre nouvelle box beauté plaît davantage que l’ancienne. Si vous demandez l’avis à 3 clientes, vous obtenez une intuition, pas une vérité. Si vous interrogez 3 000 clientes, vous obtenez une tendance solide, capable de guider votre stratégie d’achat et votre budget média.
C’est comme goûter une soupe : une cuillère suffit si le bouillon est homogène, mais si vous voulez détecter une pointe de piment, il faut goûter plusieurs cuillères à différents endroits. En DTC, votre trafic est la marmite : plus vous prélevez de cuillères (sessions), plus vous êtes sûr que la saveur (taux de conversion) est réelle et non due à un coup de chance.
Formule
Pour comparer deux taux de conversion (test A/B classique), la taille d’échantillon nécessaire par variante se calcule ainsi :
\[
n = \frac{2 \times (Z_{\alpha/2} + Z_{\beta})^2 \times p(1-p)}{\Delta^2}
\]
Où :
- \( n \) = taille d’échantillon requise par groupe
- \( Z_{\alpha/2} \) = 1,96 pour un risque d’erreur de 5 % (intervalle de confiance à 95 %)
- \( Z_{\beta} \) = 0,84 pour une puissance statistique de 80 %
- \( p \) = taux de conversion de base (ex. 3 % = 0,03)
- \( \Delta \) = effet minimum détectable (ex. +20 % relatif, soit 0,006 en absolu)
Exemple concret :
Taux de conversion actuel = 3 %. Vous voulez détecter une amélioration à 3,6 % (soit +20 % relatif).
\( p = 0,03 \), \( \Delta = 0,006 \).
\[
n = \frac{2 \times (1,96 + 0,84)^2 \times 0,03 \times 0,97}{0,006^2} \approx 13\,600
\]
Il vous faut donc environ 13 600 visiteurs par variante, soit 27 200 au total. Si votre site reçoit 5 000 visiteurs par semaine, le test devra tourner près de 6 semaines.
Tableau comparatif : petits vs grands échantillons
| Critère | Petit échantillon (ex. 500 sessions) | Grand échantillon (ex. 50 000 sessions) |
|---|---|---|
| Détection d’un effet de +10 % | Très difficile, voire impossible | Fiable si l’effet est réel |
| Risque de faux positif | Élevé (jusqu’à 30–40 % dans certains cas) | Faible (contrôlé à 5 %) |
| Coût et durée | Rapide, peu coûteux | Long, nécessite du trafic |
| Décision business | Intuition, risque de se tromper | Décision data-driven solide |
| Exemple DTC | Tester une nouvelle accroche sur 200 emails | Valider un changement de checkout sur 50 000 sessions |
Applications en DTC / e-commerce
1. Tests A/B sur les pages produit
Vous modifiez la couleur du bouton « Ajouter au panier ». Avec 2 000 sessions par variante, vous ne verrez peut-être rien. Avec 20 000, vous saurez si le vert surperforme le orange.
2. Optimisation des campagnes Meta / TikTok
Pour comparer deux créas, visez au moins 50 conversions par variante (règle empirique). Si votre CPA est de 30 € et votre budget de 3 000 €, vous obtenez 100 conversions — c’est un minimum syndical.
3. Enquêtes de satisfaction post-achat
Si vous envoyez un NPS à 10 000 clients et obtenez 300 réponses, votre marge d’erreur est d’environ ±5,6 %. Pour descendre à ±3 %, il faut environ 1 000 réponses.
4. Prix dynamique et élasticité
Pour mesurer l’impact d’une hausse de prix de 5 %, un échantillon de 500 commandes par cellule est souvent trop faible. Prévoyez 2 000 à 5 000 commandes par groupe.
Erreurs fréquentes
- Arrêter le test trop tôt : dès qu’une variante dépasse l’autre de 2 %, on crie victoire. C’est le pire ennemi de la taille d’échantillon. Attendez la fin de la période calculée.
- Confondre taille d’échantillon et trafic total : si vous avez 10 000 sessions mais 50 % sur mobile et 50 % sur desktop, vous n’avez pas 10 000 par segment. Segmentez avant de calculer.
- Ignorer la puissance statistique : un test sous-alimenté ne détecte que les effets énormes. Vous risquez de conclure « pas de différence » alors qu’elle existe.
- Utiliser la taille d’échantillon pour justifier une décision politique : « On a 1 000 clics, donc c’est significatif. » Non. 1 000 clics avec 0,5 % de conversion, c’est trop peu pour trancher.
- Oublier l’effet de nouveauté : un petit échantillon sur 2 jours peut capter un pic d’enthousiasme, pas une tendance durable.
Termes liés
- Puissance statistique : probabilité de détecter un effet s’il existe réellement. 80 % est le standard.
- Intervalle de confiance : fourchette dans laquelle se situe la vraie valeur avec un niveau de confiance donné (ex. 95 %).
- Effet minimum détectable (MDE) : plus petite différence que votre test peut repérer avec la taille d’échantillon disponible.
- P-value : probabilité d’observer un résultat aussi extrême si l’hypothèse nulle est vraie. Souvent mal interprétée.
- Test A/B : méthode expérimentale qui compare deux versions pour maximiser une métrique (conversion, panier moyen, rétention).
- Significativité statistique : résultat peu probable dû au hasard. Attention : significatif ne veut pas dire rentable.
En résumé : la taille d’échantillon est votre garde-fou contre les décisions basées sur du bruit. En DTC, où chaque euro de budget média compte, mieux vaut attendre 13 600 visiteurs par variante que de scaler une campagne sur 500 sessions et de voir le ROAS s’effondrer. Calculez, attendez, décidez.