定義
データパイプラインとは、データの発生源から最終的な保存先・活用先までを、自動的かつ継続的に運搬・変換する一連の仕組みです。EC・DTC業界では、ShopifyやAmazon、広告媒体、CRM、在庫管理システムなどに散在するデータを、BigQueryやSnowflakeなどのDWH（データウェアハウス）へ集約し、BIツールやAI施策で使える状態に整える役割を担います。
重要なのは「一度だけ転送する」のではなく、定時実行またはイベント駆動で繰り返し動き続ける点です。これにより、経営会議のKPIダッシュボードが毎朝最新の状態で更新され、LTV分析や在庫最適化がリアルタイムに近い精度で回ります。
类比（たとえ話）
データパイプラインは、EC倉庫の「入荷→検品→仕分け→棚入れ」ラインに似ています。
- 入荷＝各システムからのデータ抽出（Extract）
- 検品＝欠損値・重複・型崩れのチェック（Validate）
- 仕分け＝チャネル別・顧客別の変換（Transform）
- 棚入れ＝DWHやデータマートへの格納（Load）
倉庫で「伝票と現物が違う」トラブルが起きるように、パイプラインでも「広告のCV数とShopifyの注文数が一致しない」といった不整合が頻発します。だからこそ、各工程に監視とリトライ設計が不可欠です。
公式（処理時間の考え方）
パイプライン全体の遅延は、各ステージの処理時間の合計で近似できます。
T_total = T_extract + T_transform + T_load + T_queue
- T_extract：API取得やDBクエリの時間
- T_transform：クレンジング・結合・集計の時間
- T_load：書き込み時間
- T_queue：順番待ち・リトライ待機
たとえば、T_extract=120秒、T_transform=300秒、T_load=60秒、T_queue=20秒なら、T_total=500秒（約8.3分）。日次バッチなら十分ですが、在庫連動やダイナミックプライシングでは5分以内が求められることも多く、その場合はストリーミング設計への移行が必要です。
比較表：バッチ型 vs ストリーミング型
| 項目 | バッチ型 | ストリーミング型 |
|---|---|---|
| 実行頻度 | 1日1回〜1時間ごと | 秒〜分単位で常時 |
| 遅延 | 数時間〜24時間 | 数秒〜数分 |
| 代表ツール | Airflow, dbt, Embulk | Kafka, Pub/Sub, Flink |
| 向く用途 | 日次売上集計、LTV分析 | 在庫アラート、不正検知、動的価格 |
| 運用コスト | 低〜中 | 中〜高 |
| 障害時の影響 | 再実行でリカバリ容易 | 設計が複雑、状態管理が必須 |
DTC初期はバッチ型で十分ですが、SKU数が1,000点を超え、広告費が月500万円を超えるあたりから、在庫切れや広告費の無駄が無視できなくなり、ストリーミング併用が現実的になります。
応用場景（EC・DTCでの具体例）
1. 広告ROASの自動レポート：Meta・Google・TikTokの広告APIから毎時データを取得し、Shopifyの注文データと突合。広告費月300万円のうち、ROAS1.5未満のキャンペーンを翌朝までに検知。
2. 在庫連動の自動発注：EC在庫が安全在庫50個を下回ったら、3PLや自社倉庫へアラート。リードタイム7日を考慮し、欠品率を2%以下に抑制。
3. 顧客セグメント配信：購買履歴からRFMスコアを算出し、優良顧客上位20%に限定クーポンを自動配信。CVRを1.8倍に改善した事例も。
4. LTV予測とCRM連携：90日LTVを予測し、離反リスクの高い顧客をKlaviyoへ自動同期。
よくある誤解（常見誤区）
- 「ツールを入れれば自動で整う」：実際はスキーマ設計・命名規則・NULL処理の方針が8割。ツールは残り2割。
- 「リアルタイムが常に正義」：バッチで十分なKPIも多い。コストと複雑性のバランスが重要。
- 「一度作れば終わり」：API仕様変更、カラム追加、広告媒体の仕様変更で月1回は壊れる前提で監視を。
- 「データ量が少ないから問題ない」：件数より結合キーの揺れ（メールアドレスの大文字小文字、電話番号のハイフン）が事故の主因。
- 「DWHに入れれば安心」：個人情報のマスキング、GDPR・改正個人情報保護法対応を忘れると重大リスク。
関連術語
- ETL / ELT：抽出・変換・格納の順序違い。近年はELTが主流。
- DWH：BigQuery、Snowflake、Redshiftなど。
- dbt：SQLベースの変換管理ツール。
- Airflow：ワークフローオーケストレーション。
- CDC（Change Data Capture）：変更差分だけを抽出する方式。
- データリネージ：データの系譜を追跡する仕組み。
- データカタログ：メタデータ管理。
まとめ：データパイプラインは、DTC・ECの「数字を信じられる状態」を支える縁の下の力持ちです。派手さはありませんが、ROAS改善・欠品防止・LTV最大化のすべてがここに乗っています。まずは日次バッチから始め、KPIの必要性に応じてストリーミングへ拡張するのが、失敗しない定石です。