このページは、評価と汎化の歴史の中で 「統計学習理論と汎化境界」 にあたる時代を、初学者向けに短く整理するノートです。時系列の背景は 評価と汎化史、領域の解説は 評価と汎化とは を参照してください。
1980〜1990 年代、Vladimir Vapnik と Alexey Chervonenkis による VC 次元、Leslie Valiant の PAC 学習 が、汎化を 数学的に保証する道具 をもたらしました。「どれくらいデータがあれば、どの程度の精度を期待してよいか」を、モデルの複雑さ と関連づけて議論できるようになります。この理論的整理は SVM の登場と相互に影響しながら、古典機械学習における汎化の中心的な語り口を作りました。
ざっくりいうと
- VC 次元（Vapnik–Chervonenkis 次元）：モデルの 表現力（複雑さ） を測る指標の一つ。「どれだけのパターンを区別できるか」のイメージ。
- PAC 学習（Probably Approximately Correct）：「ほぼ確実に、ほぼ正しい」答えを学習するために必要なサンプル数を、確率と誤差で枠づける枠組み。
- 汎化境界：訓練誤差と未知データでの誤差の差を、サンプル数 と 複雑さ から 上から押さえる 不等式。
- 複雑さとサンプル数のトレードオフ：複雑なモデルほど多くのデータが必要、という直感を 理論的に裏付ける 結果が並ぶ。
統計学習理論で何をしているか
経験論として「複雑にすると崩れる」「データが少ないと汎化しない」とは知られていましたが、それを どれくらい？ の精度で言える道具がありませんでした。統計学習理論は、こうした素朴な感覚に 確率的な保証 を与えるための数学です。
- モデル族の 複雑さ（VC 次元など）を定義する。
- サンプル数 との関係から、訓練誤差と汎化誤差の差を 上から押さえる 不等式を導く。
- 「ほぼ正しい答え」が出る確率を上げるために、いくつデータが必要か を見積もる（PAC 学習の語り口）。
- その見積もりに照らして、モデル選びや正則化の 強さ を議論できるようにする。
理論結果はしばしば 緩い境界（実際より悲観的な見積もり）を与えますが、「どんな条件で汎化が保証されるか」を整理することは、実務における道具選びの背骨 になっています。
強みと限界（短く）
強み
- 経験則だった「複雑さ vs データ量」を、数学的に保証 された議論に乗せられる。
- VC 次元や PAC 学習の語彙が、後のモデル比較・正則化・SVM のマージン最大化 などの議論を貫く共通言語になった。
限界
- 実務で使う境界は 緩く、ぴったり当てはまる定量予測には使いにくいことが多い。
- 深層学習以降の 過剰パラメータ・モデル（パラメータがデータより多いのに汎化する現象）には、古典的 VC 次元では説明しきれない部分がある。
- どの複雑さ尺度 を選ぶかで結論が変わるため、抽象度が高い。