Définition
Le test A/B (ou *split test*) est une méthode expérimentale qui consiste à diviser aléatoirement le trafic d'une page, d'un email ou d'une publicité entre deux versions (A et B), puis à comparer leurs performances sur des indicateurs précis afin d'identifier la variante la plus performante.
En e-commerce DTC, on parle souvent de « tester une hypothèse » : par exemple, un bouton « Ajouter au panier » en vert contre un bouton en noir, ou un titre produit orienté bénéfice contre un titre orienté caractéristique. L'objectif n'est jamais de « choisir ce qui plaît », mais de laisser les données trancher.
C'est la brique de base de la CRO (Conversion Rate Optimization) : sans test A/B, toute modification de page reste une intuition. Avec lui, elle devient une décision chiffrée.
Analogie
Imaginez un restaurant qui hésite entre deux desserts à la carte. Plutôt que de demander l'avis du chef, il propose le dessert A à 500 clients et le dessert B à 500 autres clients, tirés au hasard. À la fin du service, il compare le taux de commande. Le dessert qui a été choisi par le plus de clients devient la nouvelle carte.
Le test A/B fonctionne exactement pareil : deux recettes, deux échantillons comparables, un seul critère de victoire. La seule différence, c'est que la « dégustation » se fait en ligne, en quelques heures, sur des milliers de visiteurs.
Formule
Le calcul central est le taux de conversion de chaque variante :
Taux de conversion (%) = (Conversions / Visiteurs) × 100
Exemple concret :
- Variante A : 1 200 conversions pour 40 000 visiteurs → 3,00 %
- Variante B : 1 440 conversions pour 40 000 visiteurs → 3,60 %
Lift relatif de B par rapport à A :
Lift (%) = ((Taux B − Taux A) / Taux A) × 100 Lift = ((3,60 − 3,00) / 3,00) × 100 = +20 %
Pour valider que ce +20 % n'est pas dû au hasard, on utilise la significativité statistique (p-value < 0,05) et on vérifie que la taille d'échantillon est suffisante. Règle empirique : au moins 100 conversions par variante avant de conclure.
Tableau comparatif : Test A/B vs autres méthodes
| Méthode | Principe | Idéal pour | Limite |
|---|---|---|---|
| **Test A/B** | 2 variantes, 1 variable | Boutons, titres, CTA, prix | Nécessite du trafic |
| **Test A/B/n** | 3 variantes ou plus | Tester plusieurs couleurs | Plus long à atteindre la significativité |
| **Test multivarié (MVT)** | Combinaisons de plusieurs éléments | Pages complexes | Besoin de trafic très élevé |
| **Test séquentiel** | Analyse continue des données | Décisions rapides | Risque de faux positifs |
| **Test holdout** | Groupe témoin non exposé | Mesurer l'impact global | Peu granulaire |
Applications en DTC / e-commerce
1. Page produit : tester un titre orienté « résultat » (« Dormez 8h sans réveil ») contre un titre orienté « ingrédient » (« Mélatonine 1 mg »). Sur un site de compléments alimentaires, ce type de test peut générer un lift de +15 à +30 % sur le taux d'ajout au panier.
2. Page de paiement : afficher « Livraison offerte dès 49 € » contre « Livraison gratuite ». Sur un panier moyen de 62 €, un simple changement de formulation peut augmenter le taux de conversion de +8 %.
3. Email marketing : tester un objet court (« −30 % aujourd'hui ») contre un objet long (« Votre code promo expire ce soir »). Sur une base de 50 000 abonnés, l'écart d'ouverture peut atteindre +12 points.
4. Publicité Meta : tester deux créas (UGC vs studio) sur un budget de 5 000 €. Le gagnant est ensuite scalé, ce qui réduit le CPA de 20 à 40 %.
5. Prix : tester 29 € contre 34 € sur un produit à faible élasticité. Attention : ce test est sensible et doit être mené avec précaution (risque de cannibalisation de marge).
Erreurs fréquentes
- Arrêter le test trop tôt : regarder les résultats au bout de 6 heures et déclarer un gagnant. Il faut attendre la significativité, pas l'impatience.
- Tester trop de variables à la fois : si on change le titre, l'image et le bouton, on ne sait pas ce qui a fonctionné.
- Négliger la saisonnalité : un test lancé un lundi de Black Friday ne se généralise pas au reste de l'année.
- Confondre corrélation et causalité : une hausse peut venir d'une campagne email envoyée le même jour.
- Ignorer la significativité statistique : un écart de 0,1 % sur 200 visiteurs ne veut rien dire.
- Oublier le mobile : 70 à 80 % du trafic DTC est mobile. Un test desktop-only est biaisé.
- Ne pas documenter : sans historique, on reteste les mêmes hypothèses tous les six mois.
Termes liés
- CRO (Conversion Rate Optimization) : discipline qui regroupe les tests A/B et autres leviers d'optimisation.
- Variante : version alternative d'une page ou d'un élément.
- Groupe de contrôle : échantillon qui voit la version originale (A).
- Significativité statistique : probabilité que le résultat ne soit pas dû au hasard.
- Lift : gain relatif entre la variante gagnante et la version originale.
- MVT (Test multivarié) : test simultané de plusieurs variables.
- Personnalisation : adaptation de l'expérience selon le profil visiteur, souvent couplée au test A/B.
- Uplift modeling : technique avancée qui prédit l'impact d'une action sur chaque segment.
En résumé
Le test A/B n'est pas un outil, c'est une culture : celle de la décision par la donnée. En DTC, où chaque point de conversion compte, il permet de transformer une intuition en croissance mesurable. Commencez petit (un bouton, un titre), soyez rigoureux sur la méthode, et documentez chaque apprentissage. C'est ainsi qu'on construit une machine de conversion, pas à pas.