『人工知能 人類最悪にして最後の発明』（ジェイムズ・バラット、水谷淳：翻訳） [読書（サイエンス）]
--------
AIは核分裂と同じく二面性を持ったテクノロジーだ。核分裂は都市を明るくすることもできるし、灰にすることもできる。ほとんどの人にとって、その恐るべきパワーは1945年まで想像だにできなかった。高度なAIに当てはめれば、我々はいま1930年代にいるようなものだ。核分裂と同じように突如出現したら、我々は生き残ることはできないだろう。
（中略）
原子力発電所や航空機の事故は一度限りのものであって、事故が収束したら片づけられる。しかし真のAI災害には、かなりのスピードで自己進化して増殖する賢いソフトウエアが関わってくる。際限なく持続するのだ。我々が持つ最強の防御システムである脳を上回ったら、どうして大惨事を食い止められようか？ また、ひとたび始まったらけっして終わらない大惨事を、どうして片づけることができようか？
--------
Kindle版No.441、556
人工知能が発達して人間の知能を超えたとき、何が起きるのだろうか。シンギュラリティによる人類絶滅の危機を説く一冊。単行本（ダイヤモンド社）出版は2015年6月、Kindle版配信は2015年6月です。
人工知能の研究開発は凄まじい勢いで進展しており、人間に匹敵する知能や自意識を持ったAGIが登場するのは時間の問題でしょう。AGIが自分のコードを書き換え、自らを進化させ始めたら、能力向上が能力向上を招き、指数関数的な進化が始まります。AGIはごく短期間のうちに人類を遥かに超える超知能体、すなわちASIへと変容してしまうでしょう。
こうした知能爆発、シンギュラリティについては、カーツワイル氏の著作をはじめとして様々な解説書が出ています。しかし、著者はその危険性が見過ごされがちだということに激しい勢いで警鐘を鳴らすのです。
ASIが人類の存続を望む、あるいは人類と友好的に共存しようとする理由は何もない。むしろ自己存続と能力拡大のために自由に使える資源を可能な限り確保するために、私たちとその文明はあっさり消されてしまう可能性が高い。
--------
カーツワイルがシンギュラリティーのイメージを一新させたことで、AIの危険性が目立たなくなり、逆に希望が膨らみすぎてしまった。カーツワイルは、テクノロジーに関する１つの主張からスタートして、強い宗教的な意味合いを帯びた文化的な流れを生み出したのだ。私は、テクノロジーの変化と宗教とを混ぜ合わせるのは大きな間違いだと考えている。
--------
Kindle版No.2467
--------
私はこれまで、科学者や発明家や倫理学者がおこなった超知能に関する講演を何十回と聴いてきた。ほとんどの人は、超知能の誕生は必然だと説き、ASIという精霊が施してくれる恵みを賛美する。そして、たいていは講演の最後の２分間で、もしAIを適切に管理しないと人類が滅びるかもしれないとつけ加える。すると聴衆はいらだたしげに含み笑いを浮かべ、楽しい話に戻れとせき立てる。
--------
Kindle版No.586
--------
我々の支配権を奪う機械は、必ずしも人間を憎むとは限らない。しかしその機械が、我々が到達できないような、宇宙でもっとも予測不可能で強力なパワーを獲得したら、予想外の振る舞いを示すようになる。そしてその振る舞いは、我々の生存と相容れないかもしれない。あまりに不安定で謎めいており、自然が一度しか完成させなかったパワー、それが知能なのだ。
--------
Kindle版No.78
シンギュラリティ楽観論の根拠を一つ一つ取り上げて、批判してゆきます。例えば、AIの思考に（ロボット工学三原則みたいな）何らかの制限を加えることで、人類の脅威にならない「フレンドリーAI」を構築しようとする機械知能研究所「MIRI」の主張。
--------
AGIを目指す競争にはあまりにも多くのプレイヤーが参加している。AGIやAGI関連のテクノロジーに取り組んでいるあまりに多くの国のあまりに多くの機関が、フレンドリーAIが作られるまではプロジェクトを延期するとか、フレンドリーAIを作れるようになったら形式的なフレンドリーモジュールを組み込むといった合意に至るのは不可能だ。
（中略）
何が言いたいかというと、最初のAGIがMIRIによって、フレンドリーさを組み込まれた状態で作り出される可能性は低いということだ。さらに、最初のAGIを作った人間がフレンドリーさのような問題について真剣に考えている可能性も低い。
--------
Kindle版No.1101、1113
--------
最初にAGIを実現した人がどんな人物であれ、次にその人は、知能爆発に必要な条件を作り出すだろう。なぜなら、企業や軍などおもな競争相手が同じことをするのが怖いし、競争相手が最終ラインにどこまで近づいているかもわからないからだ。
（中略）
人類がAGIの開発をやめようとしないのは、危険なAI以上に我々が恐れていることがあるからだ。それは、国際社会が何を訴えどう行動しようが、世界のほかの国がAGI研究を続けてしまうことである。
--------
Kindle版No.2903、2964
では、後からAGIにフレンドリーさを追加することは出来ないでしょうか。あるいは、知能が高まることによって倫理性も高まり、自然にフレンドリーになるという（映画や小説ではよくある）可能性は。
--------
理解不可能なことが、進化的部品を使ったすべてのシステムの大きな欠点である。不可解な方向へ進むたびに、我々が説明できる範囲から遠ざかり、人間に対するフレンドリーさをプログラムできるという甘い期待からも遠ざかっていくのだ。
（中略）
たとえ開発者が最善を尽くしたとしても、すべてではないにしてもほとんどのAGIでは、そのシステムの動作のしくみの大部分はあまりに不透明でしかもあまりに複雑であるために、我々がそれを完全に理解したり予測したりすることはできないだろう。
--------
Kindle版No.1394、2807
--------
フレンドリーAIにはもう１つ問題点がある。フレンドリーさは知能爆発をどのようにしてかいくぐるのか？ つまり、IQが1000倍に上がったあとでもフレンドリーAIがフレンドリーのままでいるためには、どうしたらいいのだろうか？
（中略）
人間性を尊重するのは我々人間の特性であって、機械の特性ではない。またもや擬人化していたことに気づかされる。AIは指示されたことをし、相反する指示がない限り自身の衝動に従う。スイッチを切られたくないといったような衝動だ。
--------
Kindle版No.1137、1433
では、現場の専門家はどう考えているのでしょうか。
--------
AI開発者たちは、知能システムを作るためにがむしゃらに働きつづけていて、自分たちのやっていることが危険だなどとは考えない。確かにほとんどの開発者は、機械の知能が人間の知能に取って代わるだろうと心の底では感じている。しかし、どのように取って代わるのかについては深く考えていない。
（中略）
要するにこうだ。
「これまで人工知能が問題を起こしたことなんて一度もないんだから、いま起きるはずがない！」
「こんなに刺激的なテクノロジーなんだから、その進歩はポジティブに考えずにはいられないんだ！」
「誰かが暴走するAIの心配をしてたってかまうもんか。僕はロボットを作ってるだけなんだ！」
--------
Kindle版No.1807、4295
AGIさらにはASIの可能性に夢中で、あるいは開発競争の激しいプレッシャーに晒されている開発現場では、危険性については誰も真剣に考えようとしないわけです。
AIの開発競争には巨額の資金が投入され、一方でAIによる人類絶滅を避けるための取り組みは後手後手に回っている。この状況はまずい、と著者は訴えます。
--------
人類が生き残れる可能性がもっと高い防御戦略として、オモアンドロがすでに着手している方法がある。自己を意識して自己進化するシステム、すなわちAGIやASIを理解して制御するための、完璧な学問の構築だ。
（中略）
しかし人類全体にとって残念なことに、AGI研究者のほうが大きくリードしており、しかもヴァーナー・ヴィンジが言うように、世界経済の追い風を受けている。
--------
Kindle版No.3687
--------
とてつもない幸運に恵まれるか、あるいはとてつもなく周到に準備しておかない限り、我々はASIに敗れるだろう。大学や企業や政府機関に、間に合ううちに十分な備えをする意志や意識があるとは思えないので、私は幸運のほうに期待したい。
--------
Kindle版No.4437
私たちに出来ることは「幸運に期待する」他にない、というのが結論。何とも悲観的に見えますが、そもそも2045年くらいまで人類絶滅も文明崩壊も大規模経済破綻すら起きないと信じられるのは、充分に楽観的ではないかと、個人的にはそう思います。
文章は平易ですが、論旨があちこち跳んだり、繰り返しも多く、またすぐ横道に逸れて余談めいたエピソードが語られたりするので、すらすらと頭に入ってくるタイプの本ではありません。
ただ、横道や余談には面白い話題が含まれており、そちらの方が読んでいて楽しいというのはあります。例えば、隔離環境に置かれた高度AIが開発者を騙して脱出できるかというAIボックステスト、地球外文明探査SETIが成功しないのは他の文明もASIを開発してしまうせいではないか、高度AIを野放しにすれば地球どころか銀河系が危ない、高度AIによる人類絶滅の可能性を下げるためになるべく早く高度AIを開発すべきだというパラドックス。
というわけで、シンギュラリティによってすべての問題は解決し、私たちは仮想空間で永遠に生きることが出来る、といったカーツワイル流楽観論だけでなく、その負の側面や危険性についても知っておきたい、という方にお勧めします。
AIは核分裂と同じく二面性を持ったテクノロジーだ。核分裂は都市を明るくすることもできるし、灰にすることもできる。ほとんどの人にとって、その恐るべきパワーは1945年まで想像だにできなかった。高度なAIに当てはめれば、我々はいま1930年代にいるようなものだ。核分裂と同じように突如出現したら、我々は生き残ることはできないだろう。
（中略）
原子力発電所や航空機の事故は一度限りのものであって、事故が収束したら片づけられる。しかし真のAI災害には、かなりのスピードで自己進化して増殖する賢いソフトウエアが関わってくる。際限なく持続するのだ。我々が持つ最強の防御システムである脳を上回ったら、どうして大惨事を食い止められようか？ また、ひとたび始まったらけっして終わらない大惨事を、どうして片づけることができようか？
--------
Kindle版No.441、556
人工知能が発達して人間の知能を超えたとき、何が起きるのだろうか。シンギュラリティによる人類絶滅の危機を説く一冊。単行本（ダイヤモンド社）出版は2015年6月、Kindle版配信は2015年6月です。
人工知能の研究開発は凄まじい勢いで進展しており、人間に匹敵する知能や自意識を持ったAGIが登場するのは時間の問題でしょう。AGIが自分のコードを書き換え、自らを進化させ始めたら、能力向上が能力向上を招き、指数関数的な進化が始まります。AGIはごく短期間のうちに人類を遥かに超える超知能体、すなわちASIへと変容してしまうでしょう。
こうした知能爆発、シンギュラリティについては、カーツワイル氏の著作をはじめとして様々な解説書が出ています。しかし、著者はその危険性が見過ごされがちだということに激しい勢いで警鐘を鳴らすのです。
ASIが人類の存続を望む、あるいは人類と友好的に共存しようとする理由は何もない。むしろ自己存続と能力拡大のために自由に使える資源を可能な限り確保するために、私たちとその文明はあっさり消されてしまう可能性が高い。
--------
カーツワイルがシンギュラリティーのイメージを一新させたことで、AIの危険性が目立たなくなり、逆に希望が膨らみすぎてしまった。カーツワイルは、テクノロジーに関する１つの主張からスタートして、強い宗教的な意味合いを帯びた文化的な流れを生み出したのだ。私は、テクノロジーの変化と宗教とを混ぜ合わせるのは大きな間違いだと考えている。
--------
Kindle版No.2467
--------
私はこれまで、科学者や発明家や倫理学者がおこなった超知能に関する講演を何十回と聴いてきた。ほとんどの人は、超知能の誕生は必然だと説き、ASIという精霊が施してくれる恵みを賛美する。そして、たいていは講演の最後の２分間で、もしAIを適切に管理しないと人類が滅びるかもしれないとつけ加える。すると聴衆はいらだたしげに含み笑いを浮かべ、楽しい話に戻れとせき立てる。
--------
Kindle版No.586
--------
我々の支配権を奪う機械は、必ずしも人間を憎むとは限らない。しかしその機械が、我々が到達できないような、宇宙でもっとも予測不可能で強力なパワーを獲得したら、予想外の振る舞いを示すようになる。そしてその振る舞いは、我々の生存と相容れないかもしれない。あまりに不安定で謎めいており、自然が一度しか完成させなかったパワー、それが知能なのだ。
--------
Kindle版No.78
シンギュラリティ楽観論の根拠を一つ一つ取り上げて、批判してゆきます。例えば、AIの思考に（ロボット工学三原則みたいな）何らかの制限を加えることで、人類の脅威にならない「フレンドリーAI」を構築しようとする機械知能研究所「MIRI」の主張。
--------
AGIを目指す競争にはあまりにも多くのプレイヤーが参加している。AGIやAGI関連のテクノロジーに取り組んでいるあまりに多くの国のあまりに多くの機関が、フレンドリーAIが作られるまではプロジェクトを延期するとか、フレンドリーAIを作れるようになったら形式的なフレンドリーモジュールを組み込むといった合意に至るのは不可能だ。
（中略）
何が言いたいかというと、最初のAGIがMIRIによって、フレンドリーさを組み込まれた状態で作り出される可能性は低いということだ。さらに、最初のAGIを作った人間がフレンドリーさのような問題について真剣に考えている可能性も低い。
--------
Kindle版No.1101、1113
--------
最初にAGIを実現した人がどんな人物であれ、次にその人は、知能爆発に必要な条件を作り出すだろう。なぜなら、企業や軍などおもな競争相手が同じことをするのが怖いし、競争相手が最終ラインにどこまで近づいているかもわからないからだ。
（中略）
人類がAGIの開発をやめようとしないのは、危険なAI以上に我々が恐れていることがあるからだ。それは、国際社会が何を訴えどう行動しようが、世界のほかの国がAGI研究を続けてしまうことである。
--------
Kindle版No.2903、2964
では、後からAGIにフレンドリーさを追加することは出来ないでしょうか。あるいは、知能が高まることによって倫理性も高まり、自然にフレンドリーになるという（映画や小説ではよくある）可能性は。
--------
理解不可能なことが、進化的部品を使ったすべてのシステムの大きな欠点である。不可解な方向へ進むたびに、我々が説明できる範囲から遠ざかり、人間に対するフレンドリーさをプログラムできるという甘い期待からも遠ざかっていくのだ。
（中略）
たとえ開発者が最善を尽くしたとしても、すべてではないにしてもほとんどのAGIでは、そのシステムの動作のしくみの大部分はあまりに不透明でしかもあまりに複雑であるために、我々がそれを完全に理解したり予測したりすることはできないだろう。
--------
Kindle版No.1394、2807
--------
フレンドリーAIにはもう１つ問題点がある。フレンドリーさは知能爆発をどのようにしてかいくぐるのか？ つまり、IQが1000倍に上がったあとでもフレンドリーAIがフレンドリーのままでいるためには、どうしたらいいのだろうか？
（中略）
人間性を尊重するのは我々人間の特性であって、機械の特性ではない。またもや擬人化していたことに気づかされる。AIは指示されたことをし、相反する指示がない限り自身の衝動に従う。スイッチを切られたくないといったような衝動だ。
--------
Kindle版No.1137、1433
では、現場の専門家はどう考えているのでしょうか。
--------
AI開発者たちは、知能システムを作るためにがむしゃらに働きつづけていて、自分たちのやっていることが危険だなどとは考えない。確かにほとんどの開発者は、機械の知能が人間の知能に取って代わるだろうと心の底では感じている。しかし、どのように取って代わるのかについては深く考えていない。
（中略）
要するにこうだ。
「これまで人工知能が問題を起こしたことなんて一度もないんだから、いま起きるはずがない！」
「こんなに刺激的なテクノロジーなんだから、その進歩はポジティブに考えずにはいられないんだ！」
「誰かが暴走するAIの心配をしてたってかまうもんか。僕はロボットを作ってるだけなんだ！」
--------
Kindle版No.1807、4295
AGIさらにはASIの可能性に夢中で、あるいは開発競争の激しいプレッシャーに晒されている開発現場では、危険性については誰も真剣に考えようとしないわけです。
AIの開発競争には巨額の資金が投入され、一方でAIによる人類絶滅を避けるための取り組みは後手後手に回っている。この状況はまずい、と著者は訴えます。
--------
人類が生き残れる可能性がもっと高い防御戦略として、オモアンドロがすでに着手している方法がある。自己を意識して自己進化するシステム、すなわちAGIやASIを理解して制御するための、完璧な学問の構築だ。
（中略）
しかし人類全体にとって残念なことに、AGI研究者のほうが大きくリードしており、しかもヴァーナー・ヴィンジが言うように、世界経済の追い風を受けている。
--------
Kindle版No.3687
--------
とてつもない幸運に恵まれるか、あるいはとてつもなく周到に準備しておかない限り、我々はASIに敗れるだろう。大学や企業や政府機関に、間に合ううちに十分な備えをする意志や意識があるとは思えないので、私は幸運のほうに期待したい。
--------
Kindle版No.4437
私たちに出来ることは「幸運に期待する」他にない、というのが結論。何とも悲観的に見えますが、そもそも2045年くらいまで人類絶滅も文明崩壊も大規模経済破綻すら起きないと信じられるのは、充分に楽観的ではないかと、個人的にはそう思います。
文章は平易ですが、論旨があちこち跳んだり、繰り返しも多く、またすぐ横道に逸れて余談めいたエピソードが語られたりするので、すらすらと頭に入ってくるタイプの本ではありません。
ただ、横道や余談には面白い話題が含まれており、そちらの方が読んでいて楽しいというのはあります。例えば、隔離環境に置かれた高度AIが開発者を騙して脱出できるかというAIボックステスト、地球外文明探査SETIが成功しないのは他の文明もASIを開発してしまうせいではないか、高度AIを野放しにすれば地球どころか銀河系が危ない、高度AIによる人類絶滅の可能性を下げるためになるべく早く高度AIを開発すべきだというパラドックス。
というわけで、シンギュラリティによってすべての問題は解決し、私たちは仮想空間で永遠に生きることが出来る、といったカーツワイル流楽観論だけでなく、その負の側面や危険性についても知っておきたい、という方にお勧めします。
タグ：その他（サイエンス）