ありのままに生きる

社会不適合なぼっちおやじが、自転車、ジョギング等々に現実逃避する日々を綴っています。

ディープラーニング革命

テレンス・J・セイノフスキー/監訳 銅谷賢治 「ディープラーニング革命」メモ  

ディープラーニング革命

ディープラーニング革命

 

テレンス・J・セイノフスキー  監訳 銅谷賢治
ディープラーニング革命」メモ

 

第3部 テクノロジーと科学の衝撃

第15章 情報の中身
----------------------------------------------------------------------------------
【まとめ】
・私たちの眼球は、無意識のうちに1秒間に数回ほど小さくジャンプし(マイクロサッカード)そのたびに外界に対する脳内のモデルを更新。
・入力された知覚情報と、モデルによる予測結果との比較が複数の階層で行われ、まぶしい光・大きな音は、その刺激の激しさがボトムアップで上流に伝わり、すぐにその人の注意をひく。
・私たちは、脳のオペレーティング・システムにより、何の情報をどこへどう記憶するかという手続きから隔てられているが、脳がどうのようにそれを実現しているかは謎。
----------------------------------------------------------------------------------


・インターネットにアクセスできる人は誰でも「全知」の存在。
・経済がデジタル化し、企業で求められるのはプログラム技術をもつ人材。
・産業経済から情報経済へのシフトに伴い、教育・職業訓練はこの変化に適応しなければならない。


情報理論
・シャノンの定理:ノイズがある信号伝達を理解するための極めてシンプルかつ緻密な情報についての理論。
→デジタル通信に革命が起き、携帯電話、デジタル放送、インターネットの誕生につながった。
・シャノン限界:通信路の容量には情報理論上の制限がある。


・シフトレジスター系列:0と1が並んでいる長い疑似乱数の系列(数宇列)を生成するアルゴリズム
・シフトレジスター系列と誤り訂正符号は、宇宙探査機との通信を向上させた。
・それと同じ数理により、現代のデジタル通信網の礎が築かれた。
クアルコム社は、情報を広い周波数帯域に分散するシフトレジスター系列を用い通信方法を効率化した。


・シフトレジスター系列の裏にある数理は、数論の深奥にある。
純粋数学により現実世界の実用的な問題が解決されるのを止めることはできない。


●予測符号化
・通信システムでは、「変化」に情報としての高い価値がある。
・空間的な変化、時間的変化も含む。
・脳に信号を送るセンサーは、主に変化を検出する。
・網膜上の同じ位置に像を静止させ続けると、その像は数秒後に消失する。


・私たちの眼球は、無意識のうちに1秒間に数回ほど小さくジャンプする(マイクロサッカード)。
・ジャンプのたびに外界に対する脳内のモデルを更新する。
・外界で何かが動くと、網膜がそのことを漏れなく上流に報告、その報告により脳内の外界モデルが書き換えられる。
・脳のモデルは階層構造をもつ。
・入力された知覚情報と、モデルによる予測結果との比較が、いくつもの階層で行われる。
・まぶしい光や、大きな音は、その刺激の激しさがボトムアップで上流に伝わり、すぐにその人の注意をひきつける。
・机の上の様子が何か変わったことに気づくのは、もっと高次のレベル。
・記憶とトップダウンで比較されてはじめて気づく。
・そのすべてが脳内でリアルタイムで起こる。


・予測符号化は、視覚を無意識的推論として説明してヘルマン・フォン・ヘルムホルツにひるがえる。
・無意識的推論:ノイズを除去し、不完全な情報を補い、視覚的な場面を解釈する、トップダウン型の視覚情報の生成。


●グローバルな脳
・BARINイニシアティグは、工学者、数学者、物理学者を神経科学に引き入れ、脳を探求するためのより優れたツールの開発を目指す。
・分子レベル、細胞レベルでは、脳について解明が進んでいる。
・よりマクロなレベルでは、脳がどのように機能しているか、わかっていない。
・さまざま種類の情報が、大脳皮質のあちこちに分散されている。
・ばらばらな情報をどのように素早く引き出しているかわかっていない。


・眠っている人の脳内の大域的な(グローバルな)活動パターンがあることが発見された。
・眠りにはいくつかのステージがある。
・脳の疲労を回復する除波睡眠と眼球運動と夢を伴うレム睡眠との中間にある睡眠ステージでは、「睡眠紡錘波(sleep spindle)」と呼ばれる、強く同調した時空的な周期的振動が大脳皮質の活動を支配。
・この10~14ヘルツの脳波は数秒間続くが、睡眠中の記憶の定着(固定化)に関与するという実験的根拠がある。
・睡眠紡錘波は、ぐるっと円を描くようにして大脳皮質全体をめぐる、大域的な電気活動の波。
・昼間に獲得した新情報を、大脳皮質のあちこちに散らばる過去の記憶と統合するための一つの方法。


●オペレーティング・システム
<デジタルコンピュータのアーキテクチャー>
・メモリーとCPUは空間的に離れた場所にある。
・メモリー内のデータを順序よくCPUに移動する必用あり。

ニューラルネットワークアーキテクチャー>
・メモリーと同じ場所で並列に処理を実行する。
→超並列処理が可能
・ソフトウェアとハードウェアの区別はない。
・学習は、ハードウェアに変更を加えることで行う。


・1980年代、デジタルコンピューターは超並列化への道を進み始めた。
・1秒間に数百京回の演算を行うエクサスケール・コンピューティングの時代は、すぐそこまできている。


ニューラルネットワークのシミュレーションは、超並列ハードウェアを最大限に活用する。
・複数のコアは、並列動作するようプログラムできるため、処理スピードは極めて高速かする。
プロセッサーとの遅延を小さくするため、各社は特定用途のデジタルコプロセッサーを開発している。


・デジタルコンピューターでは、私たちとハードウェアの間が、オペレーティング・システムで隔てられている。
・私たちの心は、脳というオペレーティング・システム上で、アプリの相当するものを実行している。
・私たちは、脳のオペレーティング・システムにより、何の情報をどこにどうやって記憶するかという手続きから隔てられている。
・人生経験という広大なデータベースを、脳はどのように蓄えているか、その経験により行動がどう形成されるのかを意識することはない。
・意識できるのは氷山の一角にすぎない。
・脳がどうのようにこれを実現しているかは謎。


●どこまでいっても情報は続く
・情報の爆発的増加により、生物学は定量的な科学へと変容した。


●長い先を見据えたゲーム
・基礎科学研究により開発された技術が商用化されるには50年かかる。
・脳研究プログラムの基礎的発見が実用化されるのも、今から50年後。
・その技術の主導権をどの会社が、どの国が握ることになるのかは、今、何に投資するか、何に賭けるかで決まる。