ZHENESJAKOTHVIRUFRAR

Extract Transform Load

定義

Extract Transform Load(ETL) とは、複数のシステムに散在するデータを抽出(Extract)し、ビジネスルールに沿って変換(Transform)し、分析基盤やDWH(データウェアハウス)へ格納(Load)する一連のデータパイプライン工程です。DTC/EC事業では、ShopifyやAmazon、楽天、広告媒体、CRM、在庫管理システム(IMS)、決済代行(Stripe/KOMOJU)など、サイロ化したデータソースを横断的につなぐ「データの動脈」として機能します。

ETLの本質は「生データを意思決定可能な状態に変えること」です。単なる転送ではなく、名寄せ・通貨換算・欠損補完・重複排除といった変換処理を通じて、LTV、CAC、ROAS、在庫回転率などの指標を一貫した定義で算出できるようにします。

類比

ETLはコーヒーショップのオペレーションに似ています。

- Extract=産地(ブラジル、エチオピア、グアテマラ)から生豆を仕入れる工程。産地ごとに規格・輸送方法・鮮度が異なります。

- Transform=焙煎・ブレンド・粒度調整。ここで味の一貫性を担保します。同じ生豆でも焙煎度が違えば別商品になります。

- Load=店舗の棚に並べ、バリスタが即座に抽出できる状態にすること。お客様(アナリストやマーケター)が求めた瞬間に提供できる形にするのがゴールです。

焙煎(Transform)を怠れば、どんなに高級な生豆でも商品になりません。同様に、変換工程を軽視したETLは「データはあるが使えない」状態を生みます。

公式

ETLの処理量と品質は、以下の式で評価できます。

処理スループット = 抽出レコード数 ÷ バッチ実行時間
データ品質スコア = (正常レコード数 ÷ 総レコード数) × 100
変換後ROAS = 広告経由売上(変換後) ÷ 広告費

具体例:

- 日次バッチで120万レコードを抽出し、実行時間40分 → スループットは30,000レコード/分

- 抽出した500,000件のうち、住所正規化・重複排除で485,000件が正常 → データ品質スコアは97.0%

- 広告費¥3,200,000、変換後に正確なアトリビューションで再計算した売上が¥12,800,000 → 変換後ROASは4.0

比較表

項目ETLELT逆ETL(Reverse ETL)
変換タイミング格納前格納後格納後→外部ツール
主な用途DWH構築、規制対応クラウドDWH、大規模分析CRM/広告媒体への配信
向くデータ量中〜大(〜数TB)超大(PB級)小〜中(施策対象のみ)
代表ツールTalend、Informaticadbt、Snowflake、BigQueryCensus、Hightouch
DTCでの例受注データを整形してDWHへ生ログをS3に貯めて後処理セグメントをMeta広告に同期
レイテンシバッチ中心(時間〜日次)準リアルタイム可分〜時間

応用シーン

1. クロスチャネル売上統合

Shopify、Amazon、楽天、自社アプリの受注データを顧客IDで名寄せし、統合LTVを算出。通貨・税率・返品処理を変換工程で吸収します。

2. 広告アトリビューション

GA4、Meta CAPI、TikTok AdsのログをUTCに統一し、ラストクリック/データドリブン attribution を再計算。ROASの二重計上を排除します。

3. 在庫・需要予測

IMSの在庫スナップショットと販売実績を結合し、SKU別の回転率を算出。欠品率を8.2%→3.1%に改善した事例などが典型です。

4. 顧客セグメンテーション

RFM分析用に最終購買日・購買頻度・購買金額を変換し、休眠顧客(180日以上未購入)を抽出してCRM配信に連携します。

よくある誤解

- 「ETLは単なるコピー」 → 実際はビジネスロジックの実装。定義が曖昧だとKPIが部門ごとにズレます。

- 「変換は後でいい」 → 生データをそのまま溜めると、後工程の修正コストが指数関数的に増大します。

- 「リアルタイムが常に正義」 → バッチで十分な指標(LTV、月次CAC)にストリーミングを導入するのは過剰投資です。

- 「ツールを入れれば解決」 → データ契約(スキーマ、NULL許容、通貨単位)の設計が先。ツールは手段にすぎません。

- 「一度作れば終わり」 → 仕様変更(新チャネル追加、税制改正、通貨追加)でパイプラインは劣化します。監視と再テストが必須です。

関連用語

- ELT:クラウドDWH上で変換する現代型アーキテクチャ

- Reverse ETL:DWHからCRM/広告媒体へデータを戻す工程

- dbt:SQLベースの変換・テストフレームワーク

- データリネージ:データの由来と変換履歴の追跡

- CDC(Change Data Capture):差分抽出による準リアルタイム同期

- DWH/データレイク/レイクハウス:格納先の代表形態

- オーケストレーション:Airflow、Dagsterなどによるジョブ制御