ﾃﾚﾝｽ・J・ｾｲﾉﾌｽｷｰ／監訳 銅谷賢治 「ディープラーニング革命」ﾒﾓ
テレンス・J・セイノフスキー 監訳 銅谷賢治
「ディープラーニング革命」メモ第２部 さまざまな学習方法
第6章 カクテルパーティー問題
----------------------------------------------------------------------------------
【まとめ】
・情報理論的な新しい学習アルゴリズムである「独立成分分析（ICA）」は、出力の情報量を最大化することでブラインド信号源分離問題を解決した。
・ICAネットワークは各々接続された同数の入出力ユニットをもち、出力ユニット間の独立の度合いをコスト関数として用い、出力が可能な限り独立になるよう重みを変更し続ける。
・アルゴリズムもまたテクニックであり、ICAを脳波分析に用いるのと同様、古い装置で得られたデータを使い、新しい発見ができることもある。
----------------------------------------------------------------------------------
＜ブラインド信号源分離問題＞
・部屋に１００人がいて、１００本の無指向性マイクおかれている。
・どのマイクも全員の声をひろい、マイクの位置に応じて、人ごとに音声の強さが異なる。
・それぞれの声を分離し、異なる出力として取り出せるアルゴリズムをつくることができるか？
・音源が不明な場合、音楽や拍手、自然音、ランダムノイズが含まれるとどうか？
●独立成分分析
・パーセプトロン：ニューロンが一つのニューラルネットワーク。
・パーセプトロンの次に単純な構造：出力層に二つ以上のニューロンをもつネットワーク。
・それぞれの入力ニューロンがそれぞれの出力ニューロンと接続し、入力層でのパターンが変形され、出力層でのパターンとなる。
・このネットワークは、ブラインド信号源分離を実行するよう学習できる。
・一般情報量最大化学習則（general infomax learning principle）により、ネットワークにおける情報の流れは最大
化される。
・樹状突起：脳の神経細胞が情報を集めるのに使う細長いケーブルで、何千ものシナプスがついている。
・樹状突起にあるイオンチャネルの密度を変え、樹状突起を通る情報を最大化できるはず。
・この問題を簡略化したのが情報理論的な新しい学習アルゴリズムである「独立成分分析（ICA）」。
・出力の情報量を最大化することでブラインド信号源分離問題を解決した。
・独立成分分析からは何千という応用例が生み出された。
・ICAを使い、多くの信号源（独立成分）のうちごく一部を除き、画像のパッチを再構成可能。
・このような再構成は、数学的に「スパース」であるという。
・画像内では、近くのピクセルは同じような値をもつことが多く、冗長性を含む。
・単純型細胞は、自然の風景の表現に含まれる冗長性を減じることで、画像の情報をより効率的に伝達している。
・独立成分分析を自然音に適用すると、その独立成分が聴覚系の初期段階で見られるフィルターと類似する、さまざまな周波数と継続時間をもつ時間フィルターとなる。
・感覚信号が感覚皮質の初期段階でどう表現されるかという基本原理の理解に向けて正しい方向に向かっていることを裏付けた。
・この原理を線形フィルターの独立特徴部分へ拡張し、視覚系の複雑型細胞をモデル化することも可能。
・ICAネットワークは同数の入力ユニットと出力ユニットをもつ。
・すべての入力ユニットと出力ユニットの間に接続があり、重みがついている。
・ブラインド信号源分離問題を解くには、マイクが拾った音を入力層で再生する。
・すべてのマイクに対し、入力ユニットが一つずつ対応する。
・ICA学習アルゴリズムは、重みが収束するまで、繰り返し出力層に対し重みを変更する。
・教師あり学習アルゴリズムと異なり、独立成分分析は、出力ユニット間の独立の度合いをコスト関数として用いる。
・出力の目標はない。
・重みは、出力が可能な限り独立になるよう変更されるので、元の音源が完全に分離される。
・独立でなければ、可能な限り「相関をなくす」よう重みを変更する。
●脳の独立成分
・脳波記録（EEG）：頭皮から記録した信号
・神経学者たちは、EEGの複雑に振動する信号を使い、刻々変化する脳の状態を知ろうとしてきた。
・脳の状態は、覚醒の度合い、感覚や運動に相関して変化。
・頭皮につけた電極は、大脳皮質内の信号だけでなく、筋肉や目の動きによるアーチファクト（雑音、エラー）など、多種多様な源からの電気信号を受け取る。
・頭皮のあちこちのそれぞれの電極は、脳内の複数の同じ信号源からの信号を、異なる強さで受け取る。
→カクテルパーティー問題と同じ設定
・ICAを使い、脳波記録から、皮質内にある、脳波の源となる何十もの微少な電流源と、その時間変化を抜き出した。
・独立成分分析により、目の動きや電極のノイズなどによるアーチファクトが分離可能となり、高精度で取り出すことができる。
・ICAを使い、EEG記録を解析する論文が何千本も発表されている。
●独立成分分析を超えて
・ICAの話は、科学と工学の分野で何かを新しく発見するのに重要なテクニックがあることを示す。
・アルゴリズムもまたテクニック。
・古い装置で得られたデータを使い、新しい発見ができることもある。
・脳波は測定され始めてから１００年近くになるが、独立成分分析がなければ、脳内に潜む信号源を突きと止めることは不可能だった。
・脳それ自体もアルゴリズムの複合体であり、脳の一部にICAを組み込む方法を自然が発見していたとしてもおかしくない。
・人間の体内にはたくさんのネットワークが含まれ、その中から情報が生成される。
・あるネットワークのレベルから次のレベルは、あるいは分子からシナプスへ、そしてニューロン、ニューロンの集団、意志決定を形成するまで、すべてんが物理と生物化学の法則で説明される。
・私たちは、自分こそが主導権を握っていると感じている。
・脳にあるニューロンの集団から生成した内的な活動が、どうやって私たちに決断させ、本を読ませたりしているにかは、謎。
・これらの決断は、意識のレベルのずっと下のところで行われている。
・分子メカニズムに基づくプロセスによりシナプスは形成され、そのシナプスを通してニューロンは相互作用し、そのニューロンから意志がわき上がる。
・人間の視点からすると、これらのことを脳内で起こしているのは、自分たちの意志によるもの。
・人間の感じ方では、因果関係が、物理や生物化学で導かれるものとは逆向き。
・この２通りの視点をどう一致させるのか、これはディープな科学的問題。
