このページは 線形結合で予測するモデル(線形回帰・ロジスティック回帰を中心に)の歴史的背景だけを、できるだけやさしい言葉でまとめたノートです。古典機械学習モデル全体の史 や AI モデル史(全体) より範囲を狭くし、最小二乗・統計・機械学習実務での基準線に焦点を当てています(統計学の厳密な年表ではありません)。
最小二乗と回帰の源流(近代統計)
連続値を線形モデルで当てはめる発想は、統計・測量の歴史と深く結びつきます。最小二乗法は Gauss や Legendre の名とともに 19 世紀に整備された、という説明が教科書でよく見られます。「観測とモデルのズレの二乗和を小さくする」という考え方が、後の線形回帰の 損失最小化のイメージにつながります。
「ロジスティック」のほうの源流(短く)
二値応答を統計で扱う流れは ロジット(対数オッズ) などの語彙とともに発展してきました。一般化線形モデル(GLM) の整理(1970 年代に Nelder と Wedderburn が発表した、という説明が一般的)では、ロジスティック回帰は その仲間の代表例として位置づけられます。
1980〜2000 年代頃:機械学習実務での基準線として
パーソナルコンピュータと統計ソフトの普及とともに、表形式データへの 線形回帰・ロジスティック回帰は 実務のデフォルトの一つとして広がりました。古典機械学習モデル史 が述べるように、人手ルールから統計的推定への流れのなかで、説明がしやすく実装も軽い線形モデルは、強い手法が登場する前の いちばん最初に引くベースラインとして重用されました。
スパム判定・与信・医療リスクなど、ラベル付きデータが溜まる領域では、深層学習以前からロジスティック回帰は実績がありました。
いまの位置づけ
深層学習や勾配ブースティングなどが性能競争の中心になる一方で、線形/ロジスティックは 監査・規制・説明可能性が重い現場ではいまもよく使われます。また 特徴量が粗く・データが小さいときは、複雑モデルより頑丈なことがあります。
ツールチェーンでは scikit-learn などへの実装が標準化され、「まず線形/ロジスティックでベースライン」を取る運用も一般的です。