ﾃﾚﾝｽ・J・ｾｲﾉﾌｽｷｰ／監訳 銅谷賢治 「ディープラーニング革命」ﾒﾓ
テレンス・J・セイノフスキー 監訳 銅谷賢治
「ディープラーニング革命」メモ第１部 新たな着想による知能
第3章 ニューラルネットワークの夜明け
----------------------------------------------------------------------------------
【まとめ】
・人間の脳は、①パターン認識装置であり、②経験により学習し、③純粋な論理には基づかず、④脳のニューラルネットワークは膨大なプロセッサを並列に使う。
・パーセプトロンは、パターンをカテゴリー分けする方法を学習するアルゴリズム。
・パーセプトロンは訓練データから、出力ユニットの最終決定に対する各入力成分の影響力の大きさである重みを調整し、自動的に学習する。
----------------------------------------------------------------------------------
・人工知能の数々の難題が解決可能であることの証拠：自然が進化プロセスによりそれらの問題を既に解決していること。
●1950年代に判明していた、コンピュータに知的行動を獲得させる手がかり
①私たちの脳が強力なパターン認識装置であること。
・人間の視覚系は、視野のあちこちの物体を1/10秒で認識可能。
・みたことのない物体でも、その物体のある場所、大きさ、自分からみてどの方向を向いているかに関わらず認識可能。
・人間の視覚は、「物体を認識せよ」という単一命令を処理するコンピュータのように動作する。
②人間の脳は、ピアノ演奏から物理学の問題まで、経験により学習できること。
・自然は汎用的な学習の仕組みを使い、様々な個別の問題を解ける。
・人間は最高の学習者。
・大脳皮質は全体を通じ同様な構造を持ち、ディープラーニングを行う神経回路は感覚系と視覚系のすべてに見られる。
③人間の脳には論理やルールが詰まっているわけではない。
・論理的思考・ルールに従う方法を学ぶことはできるが、訓練により可能になることであり、ほとんどの人は得意ではない。
・人間の推論能力は、問題の領域により異なる。
・経験があると、その領域での推論が簡単になり、直感的に答えを導くことができる。
→人間の知能は純粋に論理に基づいたものではない
④人間の脳は莫大な数のニューロンが常に互いにやりとりしている。
・人工知能の難問解決に必要なもの
○大規模な並列アーキテクチャを備えたコンピュータ
×ノイマン型のデジタルコンピュータのアーキテクチャ（データと命令を一つずつ実行）
・どんな計算可能な問題でもチューリングマシンで計算できるが、それは十分な記憶装置と時間がある場合。
・自然はリアルタイム処理が要求されるため、脳のニューラルネットワークは膨大な数のプロセッサを並列に使う。
・高度に並列的なプロセッサ上で効率的に機能するアルゴリズムが勝ち残る。
◎初期のパイオニアたち
・1950年代から60年代にかけ、自己組織化システムへの興味が高まった。＜「パンデモニウム（悪魔の巣窟）」モデル＞
・パターン認識を行う装置で、特徴を検出する「デーモン（悪魔）」たちが画像のなかの物体を表現する権利獲得のために競い合う（ディープラーニングの比喩）。＜LMS（最小平均二乗）学習アルゴリズム＞
・適応信号処理で広く用いられ、ノイズ除去から経済予測までさまざまな形で応用されている。
・フランク・ローゼンブラットのパーセプトロンがディープラーニングの直系の先祖。
◎例から学習する
・フランク・ローゼンブラットは、自動パターン認識のために人間の視覚系の構造をモデル化し、パーセプトロンを発明した。
＜パーセプトロン＞
・アルファベットの文字など、パターンをカテゴリー分けする方法を学習するアルゴリズム。＜アルゴリズム＞
・特定の目標を達成するためのステップ・バイ・ステップの手順。
●パーセプトロンがパターン認識問題を学習する基本原理
・パーセプトロンの目的：入力パターンが、あるカテゴリー、たとえば「猫」に属するものかどうかを判断すること。
・パーセプトロンへの入力が、入力ユニットから出力ユニットへの重みにより変化する。
・「重み」とは出力ユニットが行う最終決定に対する入力の各成分の影響力の大きさを表すもの。
・入力を正しく分類できる重みの組み合わせをどう見つけるか？
①分析結果や思いつきの手順で、手作業で重みを決める。
→労力がかかり、技術よりも直感に頼ることが多い。
②例から自動的に学習する。
カテゴリーに属さないものも含め多くの例を用意する必要あり。
→この例をパーセプトロンに一つずつ与え、分類に誤りがあれば、自動的に重みが修正される。
●パーセプトロン学習アルゴリズムの利点
・正しい分類を行う重みの組み合わせが存在し、十分な数のデータを使用できれば、自動的に重みの組み合わせを見つけられることが保証されていること。
・学習は、訓練用データセットのそれぞれのデータが入力されるごとに、その出力と正解とを比較して行う。
・出力が正解ならば、重みに対して変更を加えない。
不正解ならば重みはわずかに変更される。
→次の入力があったとき、徐々に正しい答えを出すようになる。
・変更は徐々に行われるため、重みにはすべての訓練用データの影響が残る。
・パーセプトロンの利点は、パターン認識の鍵となる特徴等を、重みが与えてくれること。
●パーセプトロンの翳り
・パーセプトロンでは線形分離可能なカテゴリーしか分けられない。
・単層パーセプトロンを一般化し、ある層が次の層へと情報を与える多層パーセプトロンを作る場合、そのような強力なパーセプトロンを訓練する方法はないのではないか？
・パーセプトロンにおいて、それぞれの入力は、独立した形で出力ユニットに寄与する。
・正しい判定のために、入力ごとではなく入力の組み合わせに依存する形にする必要がある場合は？
・多層のフィードフォワード・ネットワークでは、入力ユニットと出力ユニットの間に、複数の入力の組み合わせとなる中間層を形成できる。
・1960年代には、入力層と出力層の間の「隠れ層」が1層のネットワークであっても、それを訓練する方法がわかっていなかった。
