定義
A/Bテストとは、1つのページや機能に対して2つの異なるバージョン（A案・B案）を用意し、実際のユーザーをランダムに振り分けて同時に公開することで、どちらの成果が優れているかを統計的に判断する検証手法です。
DTC・EC領域では、主に以下のような指標の改善を目的に使われます。
- CVR（コンバージョン率）
- AOV（平均注文単価）
- 直帰率・離脱率
- カート投入率（ATC率）
- メルマガのクリック率（CTR）
「なんとなく良さそう」ではなく、数字で意思決定するためのフレームワークです。日本では「ABテスト」「スプリットテスト」とも呼ばれます。
类比：A/Bテストは「食べ比べ」に似ている
A/Bテストを直感的に理解するなら、同じ料理の2つのレシピを、無作為に選んだお客さんに出して投票してもらうイメージが一番近いです。
- A案：既存のLP（ランディングページ）
- B案：CTAボタンの色を赤→緑に変えたLP
お客さんをランダムに半分ずつ振り分け、同じ期間・同じ条件下で同時に公開します。「B案のほうが美味しい（＝CVRが高い）」と統計的に言えるかどうかを検証するのがA/Bテストです。
片方だけを1週間公開し、もう片方を次の週に公開するのはA/Bテストではなく前後比較です。季節性や曜日、広告クリエイティブの違いが混ざるため、正しい判断ができません。
公式：CVRと有意差の考え方
A/Bテストの基本指標はシンプルです。
CVR (%) = コンバージョン数 ÷ セッション数 × 100
例：A案 10,000セッションで300CV → CVR = 3.0%
B案 10,000セッションで360CV → CVR = 3.6%
相対改善率は以下の式で計算します。
相対改善率 (%) = (B案CVR − A案CVR) ÷ A案CVR × 100
上記の例では (3.6 − 3.0) ÷ 3.0 × 100 = 20% の改善です。
ただし、この差が偶然かどうかを確認する必要があります。これを判断するのが統計的有意差（p値 < 0.05、信頼度95%）です。サンプルサイズが小さいと、たまたまB案が良く見える「偽陽性」が発生します。
对比表：A/Bテスト vs 他の検証手法
| 手法 | 内容 | メリット | デメリット | 向いている場面 |
|---|---|---|---|---|
| **A/Bテスト** | 2案を同時にランダム振り分け | 因果関係が明確、再現性が高い | 十分なトラフィックが必要 | CVR改善、CTA最適化 |
| **A/B/Cテスト** | 3案以上を同時検証 | 一度に複数仮説を検証可能 | さらにサンプルが必要 | 大規模EC、月商1,000万円以上 |
| **多変量テスト（MVT）** | 複数要素の組み合わせを検証 | 相互作用がわかる | 必要サンプルが爆発的に増える | 大手EC、LP全面改善 |
| **前後比較（Before/After）** | 期間を分けて比較 | 実装が簡単 | 季節性・外部要因のノイズ大 | 緊急対応の暫定確認 |
| **ヒートマップ分析** | クリック・スクロール可視化 | 定性インサイトが得られる | 因果は証明できない | 仮説の「気づき」段階 |
应用场景：DTC・ECでの具体例
1. 商品詳細ページ（PDP）のCTA最適化
- A案：「カートに入れる」黒ボタン
- B案：「今すぐ購入」オレンジボタン＋在庫残数表示
- 検証指標：ATC率、CVR
2. ファーストビューの訴求コピー
- A案：「送料無料」訴求
- B案：「30日返品保証」訴求
- 検証指標：直帰率、スクロール率
3. チェックアウトフローの簡略化
- A案：3ステップ決済
- B案：1ページ完結型決済
- 検証指標：カート放棄率、購入完了率
4. メール・LINEの件名
- A案：「【新作】春の新作が入荷しました」
- B案：「【24時間限定】春の新作が20%OFF」
- 検証指標：開封率、CTR
具体的な数値インパクト例
- CVR 2.0% → 2.4%（相対+20%）で、月間10万セッションなら月400件のCV増
- AOV 8,000円なら月320万円の売上増
- 年間換算で約3,840万円のインパクト
常见误区
❌ 误区1：サンプルサイズが足りないまま判断
100セッションずつで「B案が良い」と判断するのは危険です。CVR 3%前後を検証するなら、各案で最低3,000〜10,000セッションが目安。事前にサンプルサイズ計算ツールで必要数を算出しましょう。
❌ 误区2：テスト期間が短すぎる／長すぎる
- 短すぎる：曜日変動を拾えない（最低7日間、できれば14日間）
- 長すぎる：季節性や外部要因が混入、機会損失
❌ 误区3：複数要素を同時に変える
ボタンの色・コピー・画像を一度に変えると、どの要素が効いたかわからなくなります。1テスト＝1仮説が原則です。
❌ 误区4：有意差が出ない＝失敗と考える
「差がない」という結果も重要な学びです。その要素はCVRに影響しないとわかり、次の仮説にリソースを集中できます。
❌ 误区5：テスト後の実装を忘れる
せっかくB案が勝っても、本番反映しなければ意味がありません。勝ちパターンの横展開（他のLP、広告、メルマガ）まで行いましょう。
相关术语
- CVR（コンバージョン率）：CV数 ÷ セッション数
- 統計的有意差：偶然では説明できない差があるかどうか
- p値：偶然その差が起きる確率。0.05未満で有意
- サンプルサイズ：検証に必要なデータ量
- 多変量テスト（MVT）：複数要素の組み合わせ検証
- ヒートマップ：ユーザー行動の可視化ツール
- パーソナライゼーション：ユーザー属性ごとに最適化
- LPO（ランディングページ最適化）：LP改善の総称
- CRO（コンバージョン率最適化）：CVR改善の戦略全体
まとめ
A/Bテストは、DTC・ECサイトにおいて「勘」から「データ」へ意思決定をシフトするための最も基本的かつ強力な手法です。日本市場では、楽天・Shopify・Shopify Plus・makeshopなど主要プラットフォームに標準機能が搭載されており、月間3万セッション以上あれば実用的な検証が可能です。
小さく始めるなら、まずはCTAボタンの色やコピーから。1テスト＝1仮説、最低7日間、各案3,000セッション以上を守れば、再現性の高い学びが蓄積され、CVRは半年で相対20〜40%改善することも珍しくありません。