Confidence Interval

定義

信頼区間（Confidence Interval、CI）とは、母集団の真の値（母平均や母比率など）が、一定の確率でその範囲内に収まると推定される数値の幅のことです。DTC・ECビジネスでは、「今月のCVRは3.2%だった」という点推定値だけを見るのではなく、「CVRは2.8%〜3.6%の間に95%の確率で収まる」というように幅で捉えることで、意思決定の精度を高めます。

たとえば、ABテストでAパターンのCVRが3.2%、Bパターンが3.5%だったとします。この差が「本当に意味があるのか」「それとも偶然のブレなのか」を判断するとき、信頼区間は不可欠なツールです。

类比：ECサイトの「売上予測の幅」

信頼区間は、ECサイトの売上予測における「幅を持たせた見積もり」に似ています。

たとえば、「来月の売上は1,200万円です」と言い切るのは点推定です。しかし実際には、季節変動・広告効率・在庫状況などでブレますよね。そこで「来月の売上は1,050万円〜1,350万円の範囲に95%の確率で収まる」と表現するのが信頼区間です。

これは、DTCブランドが「広告費を増やすべきか」「新商品を投入すべきか」を判断する際の、リスク管理の考え方そのものです。幅が狭ければ予測精度が高く、幅が広ければ不確実性が高いと判断できます。

公式

母平均の信頼区間は、以下の式で求められます。

CI = x̄ ± z × (σ / √n)

- x̄：標本平均

- z：信頼水準に対応するZ値（95%なら1.96、99%なら2.58）

- σ：母標準偏差（不明な場合は標本標準偏差sを使用）

- n：標本サイズ

具体例1：ECサイトの1日あたり平均注文数を100日分調査したところ、標本平均が320件、標準偏差が40件でした。95%信頼区間を求めると：

CI = 320 ± 1.96 × (40 / √100)
   = 320 ± 1.96 × 4
   = 320 ± 7.84
   → [312.16, 327.84]

つまり、真の1日平均注文数は312件〜328件の間に95%の確率で収まると推定できます。

具体例2：CVRの信頼区間（比率の場合）

CI = p ± z × √(p(1-p)/n)

CVRが3.2%（p=0.032）、サンプル数n=10,000の場合：

CI = 0.032 ± 1.96 × √(0.032 × 0.968 / 10000)
   = 0.032 ± 1.96 × 0.00176
   = 0.032 ± 0.00345
   → [2.86%, 3.55%]

具体例3：ABテストの差分検定

A群CVR=3.2%（n=10,000）、B群CVR=3.5%（n=10,000）の場合、差分の95%信頼区間は約[-0.0058, +0.0018]となり、0をまたぐため「統計的に有意な差とは言えない」と判断されます。

信頼区間とその他の指標の比較

指標	意味	DTC/ECでの用途	注意点
信頼区間（CI）	母数が収まる範囲	CVR・AOV・LTVの推定	サンプルサイズが小さいと幅が広がる
点推定値	単一の推定値	日次レポートの数値	ブレを無視しがち
p値	偶然の確率	ABテストの有意性判定	効果の大きさは示さない
標準誤差（SE）	推定値のバラつき	精度の比較	単位が直感的でない
効果量	差の大きさ	施策のインパクト評価	文脈依存

応用シーン

1. ABテストの意思決定

DTCブランドがLPのデザインを変更する際、CVRの信頼区間が重ならないことを確認してから本実装に移行します。信頼区間が重なっている場合は、サンプル数を増やすか、別の指標で判断します。

2. LTV予測と在庫計画

新規顧客の90日LTVを信頼区間付きで推定することで、在庫発注量や広告予算の上限をリスク管理しながら決定できます。たとえば「LTVは8,000円〜11,000円」と幅で見れば、最悪ケースでも黒字になる価格設定が可能です。

3. 広告ROASの評価

Meta広告とGoogle広告のROASを比較する際、それぞれの信頼区間を算出し、重なりがなければ「Metaの方が優れている」と統計的に言えます。逆に重なっていれば、予算配分を急ぐ必要はありません。

4. カスタマーサポートの満足度調査

NPSやCSATのスコアも、信頼区間で捉えることで「今月は下がったように見えるが、誤差の範囲内」といった判断ができます。

よくある誤解

誤解1：「95%信頼区間」は「真の値が95%の確率でこの範囲にある」という意味ではない

正しくは、「同じ手法で100回サンプリングしたとき、95回は真の値を含む区間が得られる」という頻度論的な解釈です。ベイズ的な解釈とは異なります。

誤解2：サンプルサイズが大きければ信頼区間は常に狭くなる

確かにnが大きくなれば幅は狭くなりますが、データにバイアスがある場合は意味がありません。たとえば、広告経由の顧客だけを調査したCVRは、全体のCVRを正しく推定できません。

誤解3：信頼区間が重なっていなければ必ず有意差がある

逆です。信頼区間が重なっていても有意差があるケース、重なっていなくても有意差がないケースがあります。正確には検定を行う必要があります。

誤解4：信頼水準を99%にすれば常に良い

99%にすると区間が広がり、実務的な意思決定が難しくなります。DTC/ECでは95%が標準的で、状況に応じて90%や99%を使い分けます。

誤解5：CVRが0%や100%に近いときも同じ式が使える

pが0や1に近い場合は、通常の正規近似が使えません。Wilson score intervalやClopper-Pearson法を使う必要があります。

定義