論文解説深層学習の起源1986.10.09 Nature

AIの歴史を変えた1986年の衝撃。「誤差逆伝播法」が現代のLLMを作った理由

読了目安: 5分

更新日: 2024.05.20

その答えは、およそ40年前にジェフリー・ヒントンらが発表した、たった4ページの論文にありました。

私たちが普段使っているChatGPTやClaudeなどの大規模言語モデル（LLM）。まるで人間のように言葉を操るこれらのAIですが、その「知能」の根源的なメカニズムは、実は1986年10月9日に発表されたある論文によって確立されました。

その論文のタイトルは、
"Learning representations by back-propagating errors"（誤差逆伝播法による内部表現の学習）。

著者には、後に「AIのゴッドファーザー」と呼ばれるジェフリー・ヒントン（Geoffrey Hinton）の名も刻まれています。今回は、この伝説的な論文がどのようにして「AIの冬」を終わらせ、現代のディープラーニング革命の礎となったのかを、専門的な視点を交えて解説します。

1. 1986年以前：なぜAIは「多層化」できなかったのか？

ニューラルネットワークの歴史において、1986年以前は「冬の時代」でした。研究者たちは、人間の脳のようにニューロン（素子）を何層にも重ねれば賢くなるはずだと直感していましたが、決定的な問題に直面していました。

それは、「中間層（隠れ層）をどう教育すればいいか分からない」という問題です。

ここがポイント

入力層と出力層だけの単純なモデル（パーセプトロン）なら、間違いを修正するのは簡単です。しかし、間に50人の伝言ゲーム（中間層）が入ると、「最後の出力が間違っていた時、50人のうち誰がどれくらい悪かったのか？」を特定する責任の所在（信用割当問題）が不明確になります。

当時の技術では、良いパラメータを見つけるには「総当たり」で探すしかなく、それは計算量的に不可能でした。そのため、「中間層は0層で十分」「多層化は不可能」と諦められていたのです。

この壁を打ち破ったのが、Rumelhartらが提唱した「誤差逆伝播法（Back-propagation）」です。彼らが提示したのは、闇雲な探索ではなく、数学（微積分）に基づいたスマートな近道でした。

順伝播 (Forward Pass):
とりあえず今の重み（パラメータ）でデータを流し、出力してみる。
誤差計算 (Error Calculation):
正解データと出力結果のズレ（誤差）を測る。
逆伝播 (Backward Pass):
ここが革新！出力層から入力層に向かって、「お前のせいでこれだけズレた」という責任（誤差信号）を微分を使って逆流させる。
更新 (Update):
計算された責任の重さに応じて、各層の重み（傾きと切片）を少しだけ修正する。

これにより、ネットワークが何層あっても、「どの重みを、プラス方向にどれくらい、あるいはマイナス方向にどれくらい動かせば誤差が減るか」をピンポイントで計算できるようになったのです。

この論文の真の価値は、計算手法だけでなく、「隠れユニット（Hidden Units）」が持つ可能性を示した点にあります。

論文の中で、彼らは「対称性の検出」や「家系図の学習」という実験を行いました。その結果、人間が明示的にルールを教えなくても、中間層のニューロンたちが勝手に役割分担を始めることを発見したのです。

人間が「猫の耳」や「目の形」という特徴を定義してプログラムする。限界がある。

New

データから勝手に「重要な特徴」を見つけ出し、ニューロンがそれを表現するようになる。

現代のLLMがなぜ「ブラックボックス」と呼ばれるのか。その理由は、この1986年の論文ですでに予見されていました。

ChatGPTのようなモデルには、何千億ものパラメータ（重み）が存在します。学習の過程で、中間層の奥深くにあるニューロンは、人間が教えていない「文脈」や「皮肉」、「論理」といった概念を勝手に獲得（内部表現の生成）してしまいます。

「タスクにおける規則性が、ユニットの相互作用によって捉えられるようになる」

論文中のこの一文は、まさに現在のAIが私たちを驚かせている理由そのものです。中間層が1層でも50層でも、誤差逆伝播法という強力な「修正ルール」がある限り、AIはデータの中から世界の構造を学び続けることができるのです。

1986年の誤差逆伝播法は、単なる計算アルゴリズムの発明ではありませんでした。それは、「機械が自ら世界を表現する方法を学ぶ」ための扉を開いた歴史的瞬間だったのです。今日のAIの進化は、この一つの論文の上に成り立っています。