Définition
Le test A/B (ou *split testing*) est une méthode d'expérimentation qui consiste à comparer deux versions d'une même page, d'un même e-mail ou d'une même fonctionnalité auprès de deux segments d'audience similaires, afin d'identifier celle qui génère les meilleures performances. En e-commerce DTC, on l'utilise pour trancher objectivement entre deux options — un bouton « Ajouter au panier » orange vs. vert, un titre produit court vs. long, un prix affiché TTC vs. HT — sans se fier à l'intuition.
Le principe est simple : on expose 50 % du trafic à la version A (le *contrôle*) et 50 % à la version B (la *variante*), puis on mesure l'écart sur un indicateur clé (taux de conversion, panier moyen, taux de clic). La version gagnante est déployée à 100 % du trafic.
À ne pas confondre avec le *multivarié* (test MVT), qui évalue plusieurs variables simultanément. Le test A/B isole **une seule** différence à la fois.
Analogie
Imaginez un restaurant qui hésite entre deux cartes : l'une avec photo des plats, l'autre sans. Plutôt que de demander l'avis du chef, le gérant imprime les deux versions, les distribue alternativement aux clients pendant deux semaines, et compare le nombre de plats commandés par table. C'est exactement ce que fait un test A/B sur une landing page : on laisse les comportements réels parler, pas les opinions.
Formule
Pour valider un test, on calcule d'abord le taux de conversion de chaque version :
Taux de conversion = (Conversions / Visiteurs) × 100
Puis on mesure l'uplift (gain relatif) de la variante B par rapport au contrôle A :
Uplift (%) = ((TC_B − TC_A) / TC_A) × 100
Enfin, on vérifie la significativité statistique : un test est considéré fiable lorsque la *p-value* est inférieure à 0,05 (soit un niveau de confiance de 95 %). En dessous de ce seuil, l'écart observé peut être dû au hasard.
Exemple concret :
- Version A : 4 200 visiteurs, 168 commandes → TC = 4,00 %
- Version B : 4 150 visiteurs, 208 commandes → TC = 5,01 %
- Uplift = ((5,01 − 4,00) / 4,00) × 100 = +25,2 %
Tableau comparatif
| Critère | Version A (contrôle) | Version B (variante) |
|---|---|---|
| Trafic alloué | 50 % | 50 % |
| Visiteurs (échantillon) | 4 200 | 4 150 |
| Commandes | 168 | 208 |
| Taux de conversion | 4,00 % | 5,01 % |
| Panier moyen | 62 € | 64 € |
| Revenu généré | 10 416 € | 13 312 € |
| Uplift conversion | — | **+25,2 %** |
| p-value | — | 0,012 (significatif) |
| Décision | Abandonné | **Déployé à 100 %** |
Applications en DTC / e-commerce
1. Page produit. Tester un titre court (« Sac tote en lin ») contre un titre bénéfice (« Sac tote en lin — léger, lavable, zéro plastique »). Sur un site mode DTC français, ce type de test fait souvent varier le taux d'ajout au panier de 8 à 15 %.
2. Tunnel de commande. Comparer un checkout en 3 étapes vs. 1 page unique. Les marchands Shopify constatent régulièrement un gain de 10 à 20 % sur le taux de finalisation en réduisant les étapes.
3. Pop-up d'inscription. Un overlay « -10 % sur votre première commande » contre « Livraison offerte dès 50 € ». Le second performe souvent mieux sur les paniers moyens supérieurs à 60 €.
4. E-mails de relance panier abandonné. Objet avec emoji vs. sans emoji, ou avec prénom vs. générique. Un test bien mené sur 10 000 envois permet de trancher en 48 h.
5. Prix et bundles. Tester 29,90 € vs. 29 € — l'écart paraît minime, mais sur 5 000 transactions mensuelles, 0,90 € représente 4 500 € de revenu annuel supplémentaire si la conversion ne baisse pas.
6. Publicités Meta / TikTok. Tester deux créas sur le même audience set, avec un budget identique (ex. 50 €/jour pendant 7 jours), et couper celle dont le CPA dépasse de 20 % l'autre.
Erreurs fréquentes
- Arrêter le test trop tôt. Un écart de +30 % après 200 visiteurs n'est pas fiable. Il faut atteindre la taille d'échantillon calculée *avant* le lancement (souvent 3 000 à 10 000 visiteurs par variante).
- Tester plusieurs éléments à la fois. Changer à la fois le bouton, le titre et la photo ne permet pas de savoir ce qui a fait la différence.
- Négliger la saisonnalité. Un test lancé le Black Friday ne se généralise pas à un mardi de février.
- Ignorer le mobile. Sur un site DTC français, 70 à 80 % du trafic vient du mobile. Un test desktop-only est souvent inutile.
- Confondre significativité et impact business. Un uplift de +2 % statistiquement significatif peut ne pas valoir le coût de développement.
- Ne pas documenter. Sans historique, on reteste les mêmes hypothèses tous les six mois.
Termes liés
- Test multivarié (MVT) — évalue plusieurs variables simultanément.
- Taux de conversion (TC) — indicateur central de la plupart des tests.
- Uplift — gain relatif de la variante.
- p-value — probabilité que l'écart observé soit dû au hasard.
- Taille d'échantillon — nombre de visiteurs nécessaires pour conclure.
- Variante — version alternative testée face au contrôle.
- CRO (Conversion Rate Optimization) — discipline qui englobe le test A/B.
- Test séquentiel — méthode bayésienne permettant de conclure plus vite.