このページは、1980〜1990 年代の 単純リカレント と BPTT（時間方向への誤差逆伝播） が、どの順で整ってきたかを短く整理するノートです。概念の入口は 単純リカレントと誤差逆伝播とは、上位の流れは リカレントと系列モデル史 を参照してください。
1980〜1985年代：リカレント接続の登場
単純 RNN の考え方として、隠れ状態が ひとつ前のステップ から渡される接続が、系列モデルとして提案・検討され始めました。
固定長の特徴ベクトルだけでは扱いにくい 順番付きデータ に対し、「内部メモを更新しながら読む」設計の骨格が、この時期に形づくられます。
1986〜1989年代：Elman ネットと Jordan ネット
Elman ネット（1988 年ごろ）や Jordan ネット は、隠れ状態や出力を どうフィードバックするか の配線を変えた代表例です。
いずれも単純リカレントの延長上にあり、言語や制御など 離散的な系列 のモデル化で知られるようになりました。
1990年前後：BPTT の定着と勾配消失
系列を時間方向に展開して 通常の逆伝播 を適用する BPTT が、学習手続きとして定着しました（1990 年ごろの整理が代表例）。
一方で、ステップが長いと 勾配消失 により遠い過去の依存が学習しにくい、という課題も共有され、のちの LSTM へつながる動機になりました。
いまの論点
- 単純 RNN を教育・実装で使うときの 系列・ステップ の説明の仕方
- BPTT と Truncated BPTT の使い分け
- 歴史的な単純 RNN と、現代の Transformer / SSM との位置づけ