このページは、リカレント接続の登場 を、初学者向けに短く整理するノートです。時系列の背景は 単純リカレントと誤差逆伝播史、系列・ステップの説明は 単純リカレントと誤差逆伝播とは の「系列とは」「まず『時間』とは」を参照してください。
1980〜1985 年代、単純 RNN の発想として、各ステップの 隠れ状態 が直前の状態に依存する接続が、系列データ向けに検討され始めました。表の1行1行が入れ替え可能なデータとは違い、順番付きの並び を先頭から読みながら内部メモを更新する、という設計の出発点です。
ざっくりいうと
- 単純リカレント：出力や隠れ状態を、次のステップの計算に戻す ループ 接続。
- 隠れ状態：これまで読んだ分を圧縮した 内部メモ（(h_t)）。
- 系列：順番の付いたデータの並び（文、音声フレーム列など）。
- 課題の萌芽：ステップが増えると、遠い過去への学習信号が弱くなる（のちの勾配消失）。
リカレント接続の登場で何をしているか
たとえば短い音の列を左から処理するとき、3 番目のフレームでは「1〜2 番目まで聞いたあと」という情報を (h_2) に持たせ、4 番目では (h_3) を使う、という流れです。当時は大規模データや GPU 学習の前で、小さな系列 で概念実証される段階でした。
- 系列をステップ 1, 2, 3, … に分ける。
- 各ステップで (h_t = f(h_{t-1}, x_t)) のようにメモを更新する。
- 必要なステップで分類・予測の出力を出す。
- 誤差から重みを更新する（のちに BPTT として体系化）。
- 長い系列では学習が不安定になりやすい、という経験が蓄積される。
強みと限界（短く）
強み
- 順番が効くデータ を、固定長ベクトル化だけに頼らず扱う道を開いた。
- 後の Elman・Jordan・LSTM への 共通の語彙（隠れ状態、ステップ）を用意した。
限界
- 学習手続きはまだ発展途上で、長系列 では実用が限定的だった。
- 並列化や大規模化の土台（データ・計算）は、この後に整う。