ありのままに生きる

社会不適合なぼっちおやじが、自転車、ジョギング等々に現実逃避する日々を綴っています。

ディープラーニング革命

テレンス・J・セイノフスキー/監訳 銅谷賢治 「ディープラーニング革命」メモ  

ディープラーニング革命

ディープラーニング革命

 

テレンス・J・セイノフスキー  監訳 銅谷賢治
ディープラーニング革命」メモ

第2部 さまざまな学習方法
第7章 ホップフィールド・ネットワークとボルツマンマシン
----------------------------------------------------------------------------------
【まとめ】
・ホップフィールド・ネットワークは特殊な非線形ネットワークモデルで、「アトラクター」と呼ばれる安定状態に必ず収束し、「連想記憶」を実現可能。
・ボルツマンマシンは、ホップフィールド・ネットワークのエネルギーの大域的な最小点を見つけることを目的とし、学習アルゴリズムに「wake」と「sleep」の二つの段階を持つ。
・ホップフィールド・ネットワークもボルツマンマシンも、実際の脳の中にそれらに似た仕組みや構造が見つかっている。
----------------------------------------------------------------------------------

 

・ジェローム・フェルドマン:AIで使用されるアルゴリズムは数十億ステップかかっても間違った結果を出すのに、脳は約100ステップで、たいていは正しい答えを導く。

・二つのコネクショニスト・モデル
①ごちゃごちゃ(scruffy)のモデル
 物体や概念の表現を、ネットワークの多くのユニットが分散してもつ。
 近似値を使用して定性的な解を得る
②きれい(neat)なモデル
 一つのユニットに一つのラベルが対応するような、物体や概念の計算上コンパクトな表現。
 問題の厳密解を突き止めようとする。
→①、②の両方を進展させる必要あり。


●ジョン・ホップフィールド
・元の層へのフィードバック接続をもつニューラルネットワーク、同じ層のユニット間で再帰結合があるニューラルネットワークは、フィードフォワード(順方向の)接続だけのネットワークよりダイナミクスが複雑。
・正の重み(興奮性)と負の重み(抑制性)を使用して任意接続したユニットを持つ一般的ネットワークの解析は、数学的に非常に困難な問題。


●連想記憶ネットワーク
<ホップフィールド・ネットワーク>
・特殊な非線形ネットワークモデル。
・「アトラクター」と呼ばれる安定状態に必ず収束する。
・アトラクターが記憶として機能するよう、ネットワークの重みを選べる。
・ホップフィールド・ネットワークの使用で「連想記憶」を実現可能。
・記憶の一部を提示すると、ネットワークがそれを完成させる形で、格納された記憶が引き出せる。
・収束が数学的に保証されている。
・ユニット間の結合の双方向の重みの値が等しい対照ネットワークでは、ネットワークのユニットが1個ずつ更新されるとすると問題が解けて、収束する。
・海馬の神経回路内に、ホップフィールド・ネットワークに似たアトラクター状態があることが実証されつつある。
・ホップフィールド・ネットワークは物理学から神経科学への橋渡し役となった。

●エネルギーの大域最小値を探す
<画像解析の先駆的アプローチ>
・ネットワークモデル内のノードは画像の特徴を表す。
・ネットワーク内の結合は特徴同士の制約に相当する。
  矛盾のないノード:正の相互作用
  矛盾のあるノード:負の相互作用
・視覚においては、すべての特徴が矛盾しない解釈を見つけだす必要がある。すべての制約が満たされること。


・ホップフィールド・ネットワークを使用し、この制約充足問題を解決できるか?
・エネルギー関数:ネットワークがすべての制約をどの程度うまく満たすかという尺度
・ホップフィールド・ネットワークは、エネルギーの局所的な最小値を見つけるのみ。

・局所最小値の回避法:焼きなまし法
・金属の温度を上げてからゆっくり冷却すると、結晶が大きくなり、欠陥が最も少なくなる。
・極小値を飛び出す確率は、最初は高くしておき、徐々に低くして最後に0にする。
・確率がゆっくり下がれば、最終的に最小になる。


●ボルツマンマシン
・ボルツマンマシンの目的:ホップフィールド・ネットワークのエネルギーの大域的な最小点を見つけること。
・シミュレーションを一定温度で始め、ネットワークが平衡するのを待つ。
・そこでは隣接する多くの状態を訪れることができ、可能な解を広範囲に探索可能。
・ボルツマンマシンは常に揺らいでいるので確率分布も学習可能。
・ボルツマンマシンは生成的ネットワークであり、学習終了後、出力のカテゴリーを固定することにより、それに応じた新しい入力サンプルを生成できる。


●ヘッブのシナプス可塑性
・二つの神経細胞が同時に発火すると、それらの間のシナプス結合が強化される。
・ヘップのシナプス可塑性は、ボツルマンマシンの学習アルゴリズムと同様、入出力の同時性に支配されている。


・ボルツマンマシンは学習するために眠りにつく必要がある。
・学習アルゴリズムの二つの段階
①「wake」段階:入力と出力のパターンが望ましい対応関係に固定され、ネットワークの隠れユニットが平衡状態に達するまで何度も更新され、すべてのユニットの対が共にオンになる時間の割合がカウントされる。
②「sleep」段階:入出力ユニットを固定せず、すべてのユニット対がオンになる時間の割合をカウントする。

・それぞれの結合強度は、「wake」段階と「sleep」段階においてともにオンとなった割合の差に比例する値で更新される。
・「sleep」段階を計算する理由:入出力を固定したときの相関のどの部分が外部要因によるものかを特定するため。


●鏡面対称性の学習
・ボツツマンマシンでは解けるが、パーセプトロンでは解けない問題の一つが、鏡面対称性の学習。
・ボルツマンマシンは対称軸の分類に90%成功するようになる。
パーセプトロンでは偶然と同じレベルの成績しか出せない。
・入力対の相関を調べなければ対称性の情報は得られないから。


教師なし学習と大脳皮質の発達
・ボルツマンマシンは、入出力を固定して教師あり学習モデルとして使用でき、入力だけ固定して教師なし学習モデルとしても使用できる。
<深層ボルツマンマシン>
・最初に一つの層の隠れユニットを入力ユニットと結合する(制限付きボルツマンマシン)
・ラベルなしデータ(正解と組になっていない単なるデータ)を使い、これらを訓練する。
教師なし学習の第一段階:データすべてに共通する統計的な規則性をデータから抽出すること。
・1層目の隠れユニットは、単純な特徴しか検出できない。
・第二段階:1層目の重みを固定、その上に2層目の隠れユニットを追加。
・次の段階、次の段階とボルツマンマシンの教師なし学習を続ければ、より複雑な特徴のセットを抽出可能。
・この過程を繰り返せば多層のネットワークを構築可能。


・上層ユニットは、下層の特徴をより非線形性の強い形で組み合わせることで、上層ユニット集団は下層での個別的特徴をより一般的な特徴として引き出せる。
・上層では分類が容易になり、より少ない訓練データで高いレベルに性能が収束する。


・大脳皮質も層から層へと発達する。
・視覚系の初期発達段階:一次視覚野の神経細胞(目からの入力を最初に受ける)の可塑性が高く、視覚入力の経験によりつなぎ換えが簡単に起こる。
・臨界期の終わり:可塑性が失われる。
・視覚野や他の知覚の階層的経路は、脳の後部で最初に成熟。
・脳の前部に近い皮質領域は、成熟するのに時間がかかる。
・大脳の最も前部にある前頭前野皮質は、成人期の初期まで完全に成熟しないことがある。
・臨界期:その皮質領域における神経細胞結合が、神経細胞活動の影響を最も受けやすい時期。
・臨界期は重なりながら、脳の発達は緩やかな波のように進行する。


・脳は幼少期が青年期にかけ長期間にわたり発達する。
・その間の経験が、神経細胞内の遺伝子の発現に大きく影響し、挙動の原因となる神経回路が変化する。
・生物としての人間が私たちの文化を生みだし、文化により、生物としての人間が形作られる。