P-value

定義

P値（P-value） とは、帰無仮説（きむかせつ）が正しいと仮定したときに、実際に観測されたデータ、あるいはそれ以上に極端な結果が偶然得られる確率を指します。統計的仮説検定において、結果が「偶然のブレ」なのか「本当に意味のある差」なのかを判断するための中心的な指標です。

たとえば「新しいLP（ランディングページ）は旧LPよりCVRが高い」と主張したいとき、P値が小さいほど「その差は偶然では説明しにくい＝統計的に有意」と判断されます。一般的な業界慣行では P < 0.05（5%未満） を有意水準の閾値とし、これを下回れば「統計的に有意」と表現します。

EC・DTCの現場では、ABテスト、CVR改善、広告クリエイティブの効果検証、CRMメールの開封率比較など、あらゆる意思決定の裏側でP値が使われています。

类比（たとえ話）

P値を直感的に理解するなら、「コイン投げ」 が最適です。

「このコインはイカサマではない（＝表裏が50%ずつ出る）」という帰無仮説を立てます。10回投げて表が9回出たとしましょう。この結果が「公平なコインでも偶然起こりうる確率」こそがP値です。もしその確率が0.02（2%）なら、「公平なコインでこんな結果が出るのは稀だ → イカサマを疑う根拠になる」となります。

ECで言えば、「AパターンとBパターンのCVRに差がない」という前提のもとで、実際に観測されたCVR差が偶然発生する確率がP値です。P値が小さいほど「この差は本物っぽい」と判断できます。

公式

P値は検定統計量から計算されます。代表的なZ検定（比率の差の検定）の場合：

Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}}

P値 = 2 \times (1 - \Phi(|Z|))

ここで：

- $\hat{p}_1, \hat{p}_2$：各群の観測比率（例：CVR）

- $n_1, n_2$：各群のサンプルサイズ

- $\hat{p}$：プールした比率

- $\Phi$：標準正規分布の累積分布関数

具体例：

- A群：$n_1 = 10{,}000$、CVR = 3.0%（$\hat{p}_1 = 0.030$）

- B群：$n_2 = 10{,}000$、CVR = 3.6%（$\hat{p}_2 = 0.036$）

このとき $Z \approx 2.35$、$P値 \approx 0.019$ となり、P < 0.05 を満たすため「B群は統計的に有意にCVRが高い」と結論づけられます。

对比表：P値と関連指標の違い

指標	意味	閾値の目安	ECでの用途
P値	帰無仮説のもとで観測結果以上に極端な値が出る確率	< 0.05 で有意	ABテストの判定
有意水準（α）	事前に決める「棄却ライン」	0.05 / 0.01	判定基準の設定
信頼区間	真の値が入る範囲の推定	95% CI	CVRの幅の把握
効果量（Effect Size）	差の大きさそのもの	文脈依存	実務インパクトの判断
検出力（Power）	真の差を検出できる確率	≥ 0.80	サンプル設計

P値は「差があるか否か」を教えてくれますが、「差がどれくらい大きいか」は教えてくれません。この点が効果量との決定的な違いです。

応用场景（EC・DTCでの実践）

1. ABテストのCVR検証

新LPのCVRが3.0% → 3.6%に改善。P = 0.019 なら「有意」と判断し、本番反映を決定。ただし売上インパクト（効果量）も併せて確認。

2. 広告クリエイティブの比較

Meta広告でクリエイティブA（CTR 1.2%）vs B（CTR 1.5%）、各インプレッション50,000。P値を算出し、勝ちクリエイティブへ予算を集中。

3. CRMメールの開封率検証

件名Aの開封率22%、件名Bの開封率25%（各n=8,000）。P < 0.01 なら次回キャンペーンでBを採用。

4. リピート率の改善検証

サブスクDTCで解約率が5.0% → 4.2%に低下。P値を確認し、施策の有効性を統計的に裏付ける。

5. 価格テスト

¥3,980 vs ¥4,480 のCVR差を検定。P値が0.20なら「偶然の範囲」と判断し、追加検証を実施。

常见误区

- 「P < 0.05 なら効果が大きい」わけではない

P値は差の存在を示すだけで、ビジネス上のインパクトは別問題。CVR +0.1ptの有意差が、売上 +0.3% にしかならないこともあります。

- 「P > 0.05 なら差がない」わけではない

サンプルサイズ不足で検出力が低いと、真の差があってもP値は大きくなります。「有意でない＝無意味」ではありません。

- 多重比較の問題

10個のABテストを同時に回すと、偶然P < 0.05になる確率は約40%。Bonferroni補正などが必要です。

- P値の誤解釈

「帰無仮説が正しい確率」ではありません。あくまで「帰無仮説のもとで観測結果が出る確率」です。

- 早期停止バイアス

途中でP < 0.05になったからとテストを止めると、偽陽性が増加します。事前にサンプルサイズを設計しましょう。

定義

类比（たとえ話）

公式

对比表：P値と関連指標の違い

応用场景（EC・DTCでの実践）

常见误区

関連术语

🔗 関連用語