定義
A/Bテストとは、同一の目的を持つ2つ以上のページ・クリエイティブ・導線を用意し、トラフィックをランダムに分割して同時に配信し、コンバージョン率（CVR）や売上などの指標を比較して「どちらが優れているか」を統計的に判断する実験手法です。
DTC（Direct to Consumer）やECサイト運営においては、LP（ランディングページ）、商品詳細ページ（PDP）、カート画面、メールの件名、広告クリエイティブなど、あらゆる顧客接点で活用されます。「なんとなく良さそう」ではなく、実データに基づいて意思決定するための最も基本的なフレームワークです。
类比（たとえ話）
A/Bテストは、ラーメン店の新メニュー開発に似ています。
店主が「醤油ベース」と「味噌ベース」の2種類の試作ラーメンを作り、来店客をランダムに2つのグループに分けて提供します。片方のグループには醤油を、もう片方には味噌を出し、1週間後に「どちらが多く注文され、どちらがより高く評価されたか」を集計します。感覚や好みで決めるのではなく、実際に食べたお客さんの行動データで勝敗を決めるわけです。
ECサイトでも同じで、「赤いCTAボタン」と「緑のCTAボタン」のどちらがクリックされるかを、実際のユーザー行動で検証します。
公式（計算式）
A/Bテストで最も重要な指標はCVR（コンバージョン率）と改善率（リフト）です。
CVR = コンバージョン数 ÷ セッション数 × 100 改善率（リフト） = (BのCVR − AのCVR) ÷ AのCVR × 100
具体例①：
- パターンA：セッション数 10,000、コンバージョン数 300 → CVR = 3.00%
- パターンB：セッション数 10,000、コンバージョン数 360 → CVR = 3.60%
- リフト = (3.60 − 3.00) ÷ 3.00 × 100 = +20%
具体例②（必要サンプルサイズの目安）：
ベースCVR 3%、検出したい改善幅 0.5ポイント（相対+16.7%）、信頼度95%、検出力80%の場合、1バリアントあたり約9,500セッションが必要です。
具体例③（売上インパクト）：
月間セッション50,000、AOV（平均注文額）8,000円、CVRが3.0%→3.6%に改善した場合：
- 改善前：50,000 × 3.0% × 8,000 = 12,000,000円
- 改善後：50,000 × 3.6% × 8,000 = 14,400,000円
- 月間 +240万円の増収
对比表：A/Bテスト vs 関連手法
| 手法 | 同時配信 | 変数の数 | 主な用途 | 統計的有意性 |
|---|---|---|---|---|
| A/Bテスト | ○ | 1〜2 | LP・CTA・価格の検証 | 検定で判定 |
| A/B/nテスト | ○ | 3以上 | 複数案の一括比較 | 検定で判定 |
| 多変量テスト（MVT） | ○ | 複数要素の組合せ | レイアウト全体の最適化 | 検定で判定 |
| 前後比較（Before/After） | × | 1 | 簡易検証・季節要因に弱い | 参考程度 |
| ヒューリスティック評価 | × | — | 専門家による定性評価 | 検証なし |
応用シーン（DTC・ECでの具体例）
1. LP（ランディングページ）のファーストビュー
ヒーロー画像を「商品単体」vs「使用シーン」で比較。化粧品DTCでは使用シーン画像の方がCVR +18%という事例も。
2. PDPのCTAボタン
「カートに入れる」vs「今すぐ購入」。色・文言・配置をテスト。スマホでは固定フッターCTAの有無がCVRに大きく影響します。
3. 送料無料ラインの訴求
「5,000円以上で送料無料」vs「全商品送料無料（価格に内包）」。AOVとCVRのトレードオフを検証。
4. カゴ落ちメールの件名
「お忘れ物ではありませんか？」vs「【24時間限定】10%OFFクーポン」。開封率・クリック率・復帰CVRを比較。
5. 広告クリエイティブ
Meta広告・TikTok広告での動画冒頭3秒のパターン比較。CPA（顧客獲得単価）で判定。
6. 会員登録フォーム
入力項目数、SNSログインの有無、特典訴求の位置などをテスト。
よくある誤解（アンチパターン）
- 「1日で結果を出す」：サンプルサイズが不足し、偶然の偏りを「勝ち」と誤認します。最低1〜2週間、曜日変動をカバーする期間が必要です。
- 「有意差が出るまで回し続ける」：p値の覗き見（peeking）は偽陽性を増やします。事前に期間とサンプルサイズを固定しましょう。
- 「複数要素を同時に変える」：ボタンの色と文言を同時に変えると、どちらが効いたか分かりません。MVTを使うか、1要素ずつ検証します。
- 「CVRだけを見る」：CVRが上がってもAOVが下がれば売上はマイナスも。売上 = セッション × CVR × AOV で必ず判断します。
- 「勝ちパターンを永久に使う」：季節・トレンド・顧客層の変化で最適解は劣化します。四半期ごとに再検証を。
- 「モバイルとPCを混ぜて集計」：デバイス別に分けないと、偏った結果になります。
関連用語
- CVR（コンバージョン率）：A/Bテストの主要KPI
- リフト（Lift）：改善率。相対値で表す
- 統計的有意差（Statistical Significance）：結果が偶然でない確率。通常95%以上
- 検出力（Power）：真の差を検出できる確率。通常80%以上
- サンプルサイズ：信頼できる結論に必要なセッション数
- MVT（多変量テスト）：複数要素の組合せを同時検証
- ヒートマップ：クリック・スクロール行動の可視化。A/Bテストの仮説立案に有効
- セグメント分析：新規/リピーター、デバイス別などで分けた検証
- AOV（平均注文額）：CVRとセットで見るべき指標
- ファネル分析：どの段階で離脱しているかの特定
A/Bテストは「施策の勝ち負け」を決める道具ではなく、顧客理解を深める学習プロセスです。1回のテストから得たインサイトを次の仮説に繋げ、PDCAを高速で回すことがDTC成長の鍵となります。まずは月間セッションが十分に取れる1ページから、小さく始めてみましょう。