このページは、deep-learning-model/ 配下にある各モデルの歴史的背景を、できるだけやさしい言葉で整理するためのノートです。../history.md と同じく、細かな年表の厳密さより、研究の流れと考え方の移り変わりをつかむことを優先しています。
表現学習とは、入力から特徴を人手で設計するのではなく、ネットワーク内部で表現を学ぶことです。深層とは、変換の段階を多層に重ねる設計のイメージです。
全体の流れ（ざっくり）
深層学習領域の流れは、次のように重なります。① 古典機械学習の人手特徴から、表現を学習する方向へ重心が移る。② 畳み込みで画像などの空間構造を扱う。③ リカレントで系列や文脈を扱う。④ Transformer と自己注意で、離れた位置同士の関係も扱いやすくする。⑤ データと計算スケール、運用面の論点が主役になる、という流れです。
各モデル章の見出し（畳み込み〜スケールと運用）は、対応する deep-learning-model/ 配下の索引（index.md）へリンクしています。
1〜5 と各章の対応
- ① 人手特徴から表現学習へ → 「表現学習への移行（詳細）」
- ② 畳み込みと画像など → 「畳み込みと画像認識の展開」
- ③ 系列とリカレント → 「リカレントと系列モデルの展開」
- ④ Transformer と注意 → 「Transformer と注意機構の展開」
- ⑤ スケールと運用 → 「学習スケールと運用上の論点」
① は本ページ内の節のみです。
表現学習への移行（詳細）
ざっくりいうと：画像や言語のように込み入ったデータでは、良い特徴量を人が設計するコストが限界に近づき、特徴の作り方そのものをデータから学ぶ方向が強まった、という流れです。
何が変わったか：古典機械学習では、入力の要点（特徴量）を人が決めることが多かったのに対し、深層学習では多層の変換を通じて、中間表現を学習します。結果として、タスクに合う表現を、データと学習手続きに任せやすくなりました。
なぜ実務に乗ったか：GPU などの計算資源、大規模データセット、勾配に基づく学習の安定化の工夫が重なり、2010 年代に画像認識などで実用域に入りました。
トレードオフ：性能は上がりやすい一方、学習に時間と電力がかかり、データ依存が強いです。説明可能性や安全面の検証も、古典機械学習より重くなりがちです。
畳み込みと画像認識の展開
ざっくりいうと：画像の「近くの模様」を見るのに向いた 畳み込み を中心に、画像分類や検出などを扱う型です。
目安の年代：2010 年代に画像認識の中心的手法として広がりました。Yann LeCun らが長年積み上げてきた流れが、実務でも使える形で定着した、と理解してよいでしょう。
何をしたかったか：ピクセル列をそのまま扱うのではなく、局所的なパターンを段階的に合成して、意味のある表現へつなげたい、という狙いです。
どこでつまずいたか：データの偏りやドメイン差（学習環境と本番環境の違い）で性能が落ちることがあります。解釈性や敵対的入力への頑健性も、運用で論点になります。
リカレントと系列モデルの展開
ざっくりいうと：前後の順番があるデータに対し、**再帰（リカレント）**構造で文脈を蓄えながら処理する型です。
目安の年代：音声やテキストの文脈処理などで、2010 年代まで広く使われました。長い系列では勾配の伝播が難しくなる課題もあり、LSTM や GRU のような工夫が登場しました。
何をしたかったか：固定長の特徴量設計だけでは扱いにくい系列を、可変長の入力として扱いたい、という動機がありました。
どこでつまずいたか：長距離依存の学習や並列化のしやすさの点で、後の Transformer 系の設計が強くなります。
Transformer と注意機構の展開
ざっくりいうと：自己注意により、離れた位置同士の関係を扱いやすくする設計です。文章処理の主流になりました。
目安の年代：2017 年ごろの提案以降、言語モデルを中心に大規模化が進みました。以後の基盤モデル時代の土台の一つです。
何をしたかったか：系列のどこに注目すべきかを、データから学習して柔軟に決めたい、という狙いです。
どこでつまずいたか：計算量やメモリが入力長に敏感になりやすく、長文や実務運用では工夫が必要です。
学習スケールと運用上の論点
ざっくりいうと：モデル・データ・計算の規模が大きくなるほど、学習の安定化、推論コスト、監査、再現性が主題になります。
目安の年代：2010 年代後半から現在まで継続。深層学習単体の話題というより、システムとしての運用論が前面に出ます。
何をしたかったか：精度だけでなく、費用対効果、障害時の切り分け、ログと監査のしやすさを確保したい、という要求です。
どこでつまずいたか：大規模化ほど、データの権利関係や環境負荷、評価の再現性が問題になります。
いまの見方（基盤モデルとの接続）
深層学習は、一度つくった表現やモデルを再利用する流れ（基盤モデル）へつながりやすいです。一方で、ルールや検索と組み合わせる設計（ハイブリッド）も増えています。