ﾃﾚﾝｽ・J・ｾｲﾉﾌｽｷｰ／監訳 銅谷賢治 「ディープラーニング革命」ﾒﾓ
テレンス・J・セイノフスキー 監訳 銅谷賢治
「ディープラーニング革命」メモ
第14章 チップス先生こんにちは（Hello. Mr.Chipss）
----------------------------------------------------------------------------------
【まとめ】
・ディープラーニングの計算は高負荷であり、現在のハードウェアとは根本的に異なる、消費電力が小さいハードウェアが必用。
・人間の脳から着想を得て設計された「ニューロモーフィックチップ」は、「スパイキングニューロン」を用いたアナログ動作により、デジタルVLSIよりも低消費電力。
・スパイキングニューロンの勾配降下法が使用できない欠点が克服され、ディープスパイキングネットワークの学習の道が開かれた。
----------------------------------------------------------------------------------
・ディープラーニングや強化学習などの学習アルゴリズムを、現行の汎用コンピュータのシミューレーションより何千倍も高速・高効率に実行できる、新世代チップの設計・構築の競争が 激化している。
・新しい超大規模集積回路（VLSI）チップは、並列処理アーキテクチャとオンボードメモリーをあわせもつ。
・これは、順次読み出しを行うノイマン型アーキテクチャのメモリーと中央演算処理装置（CPU）間のボトルネックを軽減するため。
・ディープラーニング・アプリケーションの開発には専用ソフトも重要。
●ホットなチップ
・現在のマイクロプロセッサー技術で、エクサスケールのスパコン(1000兆回/秒の演算を行うペタスケールコンピュータの1000倍）を稼働するには、50メガワットが必要（ニューヨークの地下鉄の消費電力より大）。
→低消費電力チップが必要。
汎用デジタルコンピュータの使用は現実的でなくなる。
専用チップが支配的になる。
・人間の脳には約1000億個の神経細胞があり、それぞれが約数千個の神経細胞と接続している。
・合計で1000兆（10^15）のシナプス接続がある。
・脳を働かせるのに必要な電力は約20ワットで、身体活動に必要なエネルギーの20%を占める。
・ペタスケールのスパコンは、脳の25万倍の電力を消費する。
・自然は効率化のため、信号や通信に必用な神経細胞という構成要素を分子レベルまで微細化。
・それらを3次元空間の相互接続し、必用な体積を最小化している。
・ディープラーニングの計算負荷は非常に高い。
・現在は集中型サーバー上で稼働し、計算結果が端末に運ばれる。
・最終的には自律型となる。
・そのためには、現在のハードウェアとは根本的に異なる、消費電力が小さいハードウェアが必用。
→人間の脳から着想を得て設計された「ニューロモーフィックチップ」
●クールなチップ
・シリコン・コンパイラー：チップや配線やシステムレベルの機能モジュールを自動的に配置するプログラム。
・自分でチップを設計するようコンピュータにプログラムした。
・半導体をナノスケールで加工する最初のステップ。
＜シリコン網膜（人工網膜）＞
・VLSIと同じ技術でつくられたものであるが、アナログ回路が使われていた。
・アナログ回路：トランジスターの電圧は連続的に変化する。
・デジタル回路：トランジスターは2値（ON か OFF)のどちらか。
・人間の目の網膜には1億個の光受容細胞が並ぶ。
・光子を集めてメモリーに送るだけのデジタルカメラと異なり、網膜には視覚入力を効率よい
神経コードに変換する数層の神経処理がある。
・網膜の処理は、コード化された信号が神経節細胞に達するまで、アナログで行われる。
・神経節細胞は、この信号を、オンかオフかのスパイク出力を使い、な百万もの軸索を通じて脳に伝達。
・スパイク出力はデジタル論理であるが、スパイクのタイミングはアナログ変数で、クロックを持たないため、スパイク列はハイブリッドのコードとなる。
・網膜チップでは、アナログ的な処理は閾値を作る屈曲部の下の「オフ」から「ほぼオフ」状態に変わる低い電圧を使う。
・対照的に、デジタルで実行するトランジスタは、完全な「オン」状態にジャンプするため、消費電力が大きくなる。
・結果、アナログVLSIチップはデジタルチップよりも消費電力が少ない。
・エネルギー効率が1000倍違う。
デジタル：数ミリワット～数ワット
アナログ：数ナノワット～数マイクロワット
・閾値付近のトランジスターの物理物性と生体膜のイオンチャネルの生物物理には密接な対応がある。
●ニューロモーフィックエンジニアリング
・アナログVLSIチップをワイヤーでつなぐよりもよい方法は、スパイクを使う方式。
・これは、大脳皮質の半分を占める白質の長い軸索で行われている。
・高速のデジタル論理で各ワイヤーを多重化でき、多くの網膜細胞が同じワイヤーを使い多くの大脳皮質細胞と通信できるようになる。
・方法
①送信側チップ内のどのユニットのスパイクであるかのアドレスを受信側チップに送る。
②受信チップでは情報を解読し、接続先ユニットへ転送する。
→「アドレスイベント表現（address event representation）」
＜ダイナミック・ビジョン・センサー（DVS）＞
・高性能なスパイキング網膜チップ。
・カメラ2台により、運動する物体を追跡、奥にある物体を見つけたりするタスクを大幅に簡素化するもの。
・従来のデジタルカメラ：フレームベースで、1フレーム42ミリ秒分の静止画を連続して保存。
情報はフレームごとに失われる。
・スパイキング・カメラ：
マイクロ秒の精度で、ごくわずかなスパイク数で、動く点を追跡可能。
より高速・効率的。
・「スパイキング・ニューロン」により、計算機科学に新たな道が開かれた。
・あるニューロンの集団におけるスパイクのタイミングにより、保存する種類の情報を制御可能。
・シナプス前細胞のスパイク入力と、シナプス後細胞のスパイク出力を近い時間差で発生させることの繰り返しで、シナプス強度が増大、減少する。
・「スパイク・タイミング依存可塑性（STDP）」は、多くの動物種の脳のさまざな部位で報告されている。
・一連の出来事に対する長期記憶の形成に重要。
・「ヘッブの法則」に対して優れた解釈ができるようになった。
・一般的解釈：シナプス強度は、神経細胞の入力と出力で同時にスパイクが生じると増大する、という同時検出の形
・細胞Ａが細胞Ｂの発火に寄与するには、細胞Ａは、細胞Ｂのスパイク発火前に発火しなければならない。
→この条件が示すのは因果関係であり単なる相関関係ではない。
＜アナログVLSI＞
・長所：全回路が並列処理で、消費電力が非常に小さい
・短所：トランジスタにばらつきがあり、同じ設計のトランジスタでも±50%も電流に差が生じうる。○「TrueNorth」
・4096個のプロセッサー・コアを持ち、54億個のトランジスターを搭載
・2億6800万のシナプス結合をもつ100万個のスパイキングニューロンをシミューレート可能。
・消費電力は70ミリワット。
・結合強度は固定され柔軟性がないため、増強や抑制などの重要な機能の実装に限界がある。
＜デジタルVLSI＞
・長所：より正確で高速かつ設計しやすい
・短所：消費電力が大きい
・スパイキングニューロンのもう一つの欠点は、勾配降下法を使用できないこと。
・勾配降下法は、継続的な値をもつニューロンのネットワークで学習を行う方法であるが、スパイクの不連続性のため使用できない。
→スパイキングネットワークで学習できる内容の複雑さに限界が生じる。
・モデルニューロンが連続的に変化する出力をもてば、その出力関数は微分可能。
・微分可能性は誤差伝搬法による学習アルゴリズムにとり必須の性質。
・スパイキングニューロンの再帰型ネットワークモデルで、長期の時系列を扱う複雑なタスクを、勾配降下法により学習できる方法が見つかった。
→ディープスパイキングネットワークの学習の道が開かれた。
●ムーアの法則はもう成り立たないのか。
・半導体チップ上の線幅は物理的限界に達している。
・配線を流れる電子数の減少、リーク、ランダムな発生電化によりブロツクされる。
・デジタルかつニューロモーフィックというハイブリッド設計のチップが現れ始めている（ニューロモーフィックチップの低消費電力、デジタルチップの広帯域幅による通信能力を兼ね備えたチップ）。
・ムーアの法則はチップの処理能力のみに基づく。
・今後ムーアの法則は、消費エネルギーと処理能力を考慮した法則へと置き換えるべき。
