ﾃﾚﾝｽ・J・ｾｲﾉﾌｽｷｰ／監訳 銅谷賢治 「ディープラーニング革命」ﾒﾓ
テレンス・J・セイノフスキー 監訳 銅谷賢治
「ディープラーニング革命」メモ
第13章 アルゴリズムの時代
----------------------------------------------------------------------------------
【まとめ】
・最も単純なセルオートマンには、チューリングマシンと同じ能力をもつものがあり、生命の複雑な分子の組み合わせが進化で生じることは奇跡ではない。
・個々のディープラーニングネットワークは、学習アルゴリズムを使い発見され、ディープラーニングは、新しいアルゴリズムを見つけるメタアルゴリズム。
・遺伝的アルゴリズムは、自然により新しい生命体が進化するプロセスに基づいており、断続平衡説や突然変異に基づくジャンプを起こすよう設計されている。
----------------------------------------------------------------------------------
・これまでテクノロジーを前進させてきたのは物理法則（微分方程式と連続変数）。
・今日のテクノロジーを前進させているのはアルゴリズム。
・離散数学とアルゴリズムを使い、計算機科学や生物学における複雑性を理解しようとしている。
＜アルゴリズム＞
・個々のステップやルールを集めたプロセスのこと。
・それに順番に従えば計算を実行したり問題を解決できる。
●セルオートマン
＜セルオートマン＞
・各セルは数個の離散値のみをとる。
・他のセルの状態に応じ時間発展する。
・最も単純なセルオートマンは、０と１の値をとるセルの１次元の配列。
＜ライフゲーム＞
・「オン」、「オフ」の状態しかとらないセルが、２次元配列として格子状に並ぶ。
・あるセルの状態を次の状態へ更新するルールは、そのセルに隣接する８つのセルの状態にのみ依存。
・各時間ステップで、すべてのセルの状態を更新する。
→配列のなかの複雑なパターンが現れる。
・複雑性を生成するルールは一般的なのか？
・最も単純なセルオートマンのいくつかには、チューリングマシンと同じ能力がある。
・原理上、あらゆるコンピュータと同じ能力がある。
↓
・生物で見られる複雑さは、分子間の化学反応という最も単純な空間から選び取ることにより進化した可能性がある。
・生命に不可欠な性質：細胞の自己複製能力
・フォン・ノイマンは、自己を正確に複製できる単純なセルオートマンを探した
・結果、２９の内部状態と巨大な記憶容量をもつ、自己複製する複雑なセルオートマンを発見。
・生物学的に興味深い。
・自己複製できる細胞、多数の内部状態、ＤＮＡという形での記憶をもつ。
・自己複製可能な、単純なセルオートマンも発見されている。
●脳はコンピューターか？
・脳にはアナログとデジタルの性質が混在している。
・脳の神経回路は一般に論理関数の計算をしているわけではない。
・脳の冗長性はメインシステムのバックアップではない。
・複製というよりは、多様性に基づくもの。
・「論理深度」：脳でステップごとに誤差が蓄積するとして、誤った結論を出さないための論理ステップの許容数は？
・脳にはたくさんのノイズ源があるが、神経細胞の多くは並列動作するので、コンピュータよりも１ステップでできることが多く、論理深度は浅くてすむ。
●アルゴリズムの空間
＜ウルフラムの法則＞
・ある意味のあるクラスの問題を解決するアルゴリズムを見つけるため、アルゴリズムの空間の遙か彼方まで行く必要はない」。
・個々のディープラーニングネットワークは、学習アルゴリズムを使い発見された。
・ディープラーニングは、新しいアルゴリズムを見つけるメタアルゴリズム。
・生命はＤＮＡ配列の変異により形成された個の集合体。
・生命アルゴリズムの空間におけるある１点を中心としている。
・自然は、自然淘汰を使い、ある集合から別の集合へジャンプすることを可能にした。
・「断続平衡説」と呼ばれる跳躍的なプロセスと、突然変異による局所探索が合わさっている。
・遺伝的アルゴリズムは、自然により新しい生命体が進化するプロセスに基づいており、このようなジャンプを起こすよう設計されている。
・これらのアルゴリズムの集合を説明する数学が必要。
・アルゴリズムの宇宙がどのようなものか、誰も知らない。
・未発見のアルゴリズムはたくさんあるが、発見を自動化すれば見つかる。
