このページは、評価と汎化の歴史の中で 「データ漏えいと分布シフト」 にあたる現代的な論点を、初学者向けに短く整理するノートです。時系列の背景は 評価と汎化史、領域の解説は 評価と汎化とは を参照してください。
2010 年代以降、データ量の増加とコンペティション文化の広がりにより、データ漏えい（data leakage）や 時系列分割の不備 が見かけ性能を吊り上げる失敗事例として共有されるようになりました。分布シフト（訓練分布と本番分布のずれ）も中心的な論点で、深層学習以降は「評価設計そのものの品質」がモデル選定と同じ重みで議論されるようになっています。
ざっくりいうと
- データ漏えい（data leakage）：未来情報や目的変数の影が 特徴量に紛れ込み、見かけ性能だけが膨らむ現象。
- 時系列分割の不備：ランダムに分割すると 未来情報を訓練に混ぜて しまうため、未来データで時間順に分けて評価する必要がある、という設計指針。
- 分布シフト：訓練分布と本番分布が ずれている こと。共変量シフト・ラベルシフト・概念ドリフトに分けて整理される。
- 検証データへの過学習：ハイパーパラメータ探索を繰り返すうちに、検証セットに合わせ込みが起きる。
- 業務目的と指標のずれ：高い精度でも、再現率不足で重要事象を取りこぼす、コスト非対称が考慮されていない、など。
データ漏えいと分布シフトで何をしているか
たとえば与信モデルで、特徴量の中に「事後にしか分からない情報」 が混じっていれば、訓練でも検証でも見かけは高精度ですが、本番では使えません。時系列予測でランダム分割を使うと、未来の値で過去を予測する形 になってしまい、これも見かけ性能を膨らませます。現代の評価設計は、こうした失敗パターンを 構造的に防ぐ ためのチェックリストの集合体だと読めます。
- データソース・特徴量 に、目的変数やそれに近い情報が 直接・間接に 紛れていないか検査する。
- 時系列・グループ がある場合は、ランダム分割をやめ、時系列分割（過去→未来）や
GroupKFold（同一エンティティをまたがせない）を使う。 - 訓練・検証・テスト のパイプラインを、前処理（標準化、欠損補完、エンコーディング）のフィットも含めて分離する（
fitは訓練だけ、transformは検証・テストにも適用）。 - ハイパーパラメータ探索の 回数 に気を配り、必要なら ネスト交差検証 で検証データへの過学習を抑える。
- 訓練と本番の 分布ずれ をモニタリングし、必要なら再学習トリガーや指標の安全弁（
PSIなど）を設ける。
| シフトの種類 | ずれているもの | イメージ例 |
|---|---|---|
| 共変量シフト | 入力 x の出方が変わる |
ユーザ層が変わって入力分布が動く |
| ラベルシフト | 出力 y の比率が変わる |
キャンペーンで陽性率が上下する |
| 概念ドリフト | x と y の関係そのものが変わる |
商習慣の変化で同じ条件の意味が変わる |
強みと限界（短く）
強み
- 失敗パターンを 構造的に分類 できるため、レビューや設計レビューに使いやすい。
- 時系列・グループ向けの分割や、ネスト交差検証など、運用に乗せられる道具 が揃っている。
- 監視（モニタリング）まで含めた評価設計が、MLOps の議論と接続している。
限界
- データ漏えいは 意図せず混入 することが多く、検出の網羅性は経験と検証設計に依存する。
- 分布シフトの 検知と再学習トリガー は、業務やコストとのバランス設計が要る。
- 指標と業務目的の整合は モデル単独 では決まらず、業務側との合意が前提になる。