ジェフ・ホーキンス 著 大田直子 訳「脳は世界をどう見ているのか 知能の謎を解く「1000の脳」理論」メモ
ジェフ・ホーキンス 著 大田直子 訳
「脳は世界をどう見ているのか」メモ第２部 機械の知能
第11章 機械知能による人類滅亡のリスク
----------------------------------------------------------------------------------
【まとめ】
・機械知能による人類滅亡のリスクとされているもの二つ。
①知能爆発：機械が人間を排除(人類絶滅)と判断するか、容認する(人類征服)を判断する事態になる。
②目標のずれ：知的機械が私たちの幸福に反する目標を追いかけ、人間がそれを止められない事態になる。
・学習のスピードは世界との物理的な相互作用の必要に制限されるため、知能爆発はありえない。
・知的機械が最初の要求を受け入れるのにその後の要求を無視すること、止めようとする人間の努力すべてを阻止するため、知的機械が資源を奪い取れることはありえない。
----------------------------------------------------------------------------------・機械知能による人類滅亡のリスクとされているもの二つ。
①知能爆発
②目標のずれ
①知能爆発
・人間より知能の高い機械がつくられる
↓
知的機械に知的機械をつくらせれば、つくられる知的機械は
さらに知能が高くなる
↓
機械が人間の知能を大きく引き離し、人間は機械の
していることを理解できなくなる
↓
機械が人間を排除（人類絶滅）と判断するか、
容認する（人類征服）を判断する事態になる。
②目標のずれ
・知的機械が私たちの幸福に反する目標を追いかけ、人間がそれを止められない。
・知的機械が自発的に、人間にとり有害な独自の目標を策定するおそれ。
・これらのリスクのシナリオは、人間が自分たちのつくったものを制御できなくなることを前提としている。
・人間が機械のスイッチを切ったり、他の方法で目標追求を止めることを機械が阻止する。
・人間Vs機械であり、機械のほうが賢い。
★知能爆発の脅威
・新しい考えやスキルの学習には、世界との物理的な相互作用が必要。
・観察して発見する段階を飛ばすことは不可能。
・感覚と運動の関係を学習する唯一の方法は実践すること。
・シミューレータで学習しても時間はかかる。
・知能はソフトウェアにプログラムできない。
・知能は規則と事実のリストとして規定できない。
・機械に世界のモデルを学習する能力を与えることはできるが、そのモデルをつくり上げる知識は学習されなくてはならない。
・学習には時間がかかる。
・学習のスピードは世界との物理的な相互作用の必要に制限される。
・機械が突然人間よりはるかに多くのことを知るような、知能爆発はありえない。
・超人知能：あらゆる点で、あらゆる課題で、機械が人間の遂行能力を越える
・人間ができることのリストはあまりにも長い。
・どんな機械も、あらゆる分野で人間の実績をしのぐことはできない。・世界について私たちが知っていることは、たえず変化し広がっている。
・何かについて機械よりベテランの人間がつねにいる。
・あらゆることを知っている人間はいない。
・同じことが知的機械にも言える。
・現在のＡＩ技術が解決に成功しているのは、静的問題。
・静的問題は経時変化せず、継続的な学習が必要ない。
・囲碁のルールは不変、数学演算は不変、画像分類システムも不変。
・世界のほとんどは不変ではない。
・取り組むべき課題はつねに変化している。
・どんな人間も機械も、どんな課題にも永遠に強いことはありえない。
★目標のずれの脅威
・知的機械が人間にとり有害な目標を追求し、人間がそれを止められないときに生まれる。
・知的機械は人間の指示どおりのことをするが、人間が機械にやめるよう指示すると、機械はそれを最初の要求をやりとげることへの障害とみなす。
・目標ずれ脅威説の根拠でありえないこと。
①知的機械は最初の要求を受け入れるのに、その後の要求を無視すること。
②止めようとする人間の努力すべてを阻止するため、知的機械が十分な資源を奪い取れること。
・私たちが意図的に組み込まないかぎり、知的機械は人間のような感情と衝動をもつことはない。
・自己増殖可能なもの、とくにウィルスと細菌は潜在的な人類滅亡の脅威。
・知能そのものはそうではない。
・増殖、動機、知能の区別
●増殖
・自己増殖可能なもんはなんでも危険。
生物学的ウィルス、コンピューターウィルス
・知的機械は、人間が組み込まない限り、自己増殖する能力や欲望をもたない。
●動機
・生物学的な動機と衝動は進化の結果。
・増殖も進化もしない機械が、他者を支配するような欲望をもつことはない。
●知能
・三つのうち、知能が最も無害。
・知的機械が自己増殖して進化しているのでなければ、それ自体が人類存亡のリスクにはならない。
