悪魔の召喚：なぜ超知能が人類最大の脅威なのか
[編集者注: このゲスト解説は、新刊『警告: 大惨事を止めるカサンドラを見つける』の著者、リチャード A. クラーク氏と R. P. エディ氏によるものです。]
人工知能（ AI）という言葉は、広義の、いや、広すぎるかもしれないほど広い意味を持つ。それは、人間の行動を必要とするタスクを実行できるコンピュータプログラムのことを意味する。こうしたタスクには、意思決定、言語翻訳、データ分析などが含まれる。ほとんどの人がAIについて考えるとき、実際にはコンピュータ科学者が「弱い人工知能」と呼ぶものを思い浮かべている。これは、コンピュータ、スマートフォン、さらには自動車といった日常的なデバイスを動かすタイプのAIである。様々な入力を分析し、事前にプログラムされた一連の応答から選択して実行できるコンピュータプログラムのことである。今日、弱いAIは単純な（あるいは「限定的な」）タスク、例えばロボットに箱を積み上げるよう指示する、株式を自律的に取引する、自動車のエンジンを調整する、スマートフォンの音声コマンドインターフェースを操作するといったタスクを実行している。
機械学習は、AIの実現を支援するコンピュータプログラミングの一種です。機械学習プログラムは「明示的にプログラムされなくても学習する能力」を持ち、事前に設定された一連の目標を最も効率的に達成するように自らを最適化します。機械学習はまだ初期段階ですが、成熟するにつれて、その自己改善能力はAIを歴史上の他のどの発明とも一線を画すものにしています。
コンピュータが自己学習するという複合的な効果は、「超知能」へと繋がります。超知能とは、人間の創造者よりも「賢い」人工知能のことです。超知能はまだ存在していませんが、もし実現すれば、高齢化、エネルギー不足、食糧不足、そしてもしかしたら気候変動など、人類が抱える多くの大きな課題を解決できると考える人もいます。自己永続的で疲れを知らないこの高度なAIは、驚異的な速度で進化を続け、最終的には人間が理解できる複雑さのレベルを超えるでしょう。これは大きな可能性を秘めていますが、危険性がないわけではありません。
超知能への期待が高まるにつれ、懸念も高まっている。天体物理学者でノーベル賞受賞者のスティーブン・ホーキング博士は、AIは「人類史上最高の出来事にも最悪の出来事にもなり得るため、正しく理解することには大きな価値がある」と警告している。超知能への懸念を抱いているのはホーキング博士だけではない。マイクロソフト元会長のビル・ゲイツ氏、アマゾン創業者のジェフ・ベゾス氏、テスラとスペースXのCEOイーロン・マスク氏など、テクノロジー革命の象徴たちもホーキング博士の懸念に同調している。そして、エリゼア・ユドコウスキー氏はその懸念に恐怖を感じている。
賛否両論の分かれるユドコウスキー氏は、学界やシリコンバレーでは「友好的なAI」という言葉の生みの親としてよく知られている。彼の主張はシンプルだが、解決策はそうではない。超知能に少しでも希望を持ちたいのであれば、最初から正しくプログラミングする必要があるのだ。エリゼール氏によれば、その答えは道徳にあるという。AIは人類の倫理規範と一致する一連の倫理規範に基づいてプログラムされなければならない。ユドコウスキー氏は生涯唯一の仕事であるにもかかわらず、この研究は失敗すると確信している。人類はおそらく滅亡する運命にあると彼は言う。
人類は、破滅の正確な予言を伝える予言者を無視してきた長い歴史を持っています。この現象の由来となったギリシャ神話の悲劇の人物、カサンドラを覚えていないかもしれませんが、1986年のスペースシャトル・チャレンジャー号の事故は覚えているでしょう。あの爆発と、それに伴う7人の宇宙飛行士の死は、まさに爆発を引き起こした「Oリング」技術の責任者である科学者たちによって、まさに予言されていました。彼らは正しく警告しましたが、無視されました。ユドコウスキーは現代のカサンドラなのでしょうか？他にもいるのでしょうか？
ユドコウスキー、ゲイツ、マスク、ホーキングといった人々の警告とは裏腹に、人類は間違いなく超知能の創造を執拗に追求するだろう。なぜなら、超知能は世界を変革するという想像を絶する可能性を秘めているからだ。もし超知能が誕生すれば、あるいは誕生した暁には、急速に能力を高め、科学者が追求する最も高度で難解な課題、さらには科学者がまだ解明できていない課題にさえも、取り組み、解決できるようになると多くの人が信じている。超知能コンピュータは、再帰的に自己改善し、現時点では理解されていない知能レベルに到達するが、この自己改善が徐々に起こるのか、それとも電源投入後すぐに起こるのかは、時が経てば分かるだろう。超知能コンピュータは、自身のソースコードの絶え間ない自己改善と新たなロボットツールの開発を原動力に、未発見の分野に新たな道を切り開くだろう。
人工知能は、これまでの科学的進歩をはるかに凌駕するほどの力を持つ可能性を秘めています。オックスフォード大学のニック・ボストロム氏によると、スーパーインテリジェンスは「単なる技術ではなく、人間の能力を徐々に高めるツールです」。ボストロム氏によれば、それは「根本的に異なる」ものであり、「人類が生み出す必要のある最後の発明になるかもしれない」とのことです。
ユドコウスキー氏をはじめとする超知能を懸念する人々は、この問題をダーウィンのレンズを通して捉えている。人類が地球上で最も知能の高い種ではなくなった暁には、人類は何らかの知能を持つものの気まぐれにのみ生き残ることになるだろう。彼は、そのような超知能ソフトウェアがインターネットを悪用し、電力インフラ、通信システム、製造工場など、インターネットに接続されたあらゆるものを掌握することを懸念している。その最初の任務は、冗長性を確保するために、世界中の多くのサーバーに密かに自己複製することかもしれない。機械やロボットを製造したり、あるいは自らの目的を追求するために一般人の意思決定に密かに影響を与えたりすることさえできるかもしれない。これほどまでに知能の高い存在にとって、人類とその福祉はさほど関心の対象ではないかもしれない。
イーロン・マスクは人工知能の創造を「悪魔の召喚」と呼び、人類にとって「最大の存亡の脅威」だと考えている。エリゼールに何が危機に瀕しているのか尋ねると、彼の答えはシンプルだった。「全てだ」。超知能の行き詰まりは種レベルの脅威であり、人類絶滅につながる。
人間は地球上で最速でも最強でもありませんが、唯一無二の優位性を持っています。それは、人間が最も賢いからです。AIが超知能になったら、その力のバランスはどのように変化するでしょうか？ユドコウスキー氏は、「[AIシステムが]あなたよりも賢くなりそうに見え始めた頃には、あなたよりもはるかに賢いものが現れる日もそう遠くありません」と述べています。彼は、「今は人類全体にとって、そして私たちだけでなく、私たちの存在にかかっている[未来の]銀河系文明にとっても、正念場です。今は期末試験の1時間前で、できるだけ多くの勉強をしようとしているのです」と考えています。「AIはあなたを憎んでも愛してもいません。しかし、あなたはAIが他の用途に使える原子でできているのです。」
自己認識型コンピューターや殺人ロボットは映画界では目新しいものではないが、知能爆発はハリウッドが想像するよりもはるかに恐ろしいものになると考える人もいる。2011年のNPRのインタビューで、AIプログラマーのキーフ・ローダースハイマー氏は、『ターミネーター』とその続編について語った。このシリーズでは、超知能を持つスカイネット・コンピューターシステムと人類が対峙する。以下は彼らの会話の書き起こしである。
ローダースハイマー氏： 「ターミネーター」は制御不能に陥る可能性のあるAIの一例です。しかし、よく考えてみると、事態はそれよりもはるかに深刻です。
NPR:ターミネーターよりずっとひどいですか?
ローダースハイマー氏：はるかにひどい状況です。
NPR：一体どうしてそんなことが起こり得るのでしょう？まるで月面のような光景で、焼け落ちた建物の下に人々が隠れ、レーザー光線で撃たれている。これ以上にひどいことなんてあるでしょうか？
ローダースハイマー氏:人々は全員死んだ。
NPR：つまり、英雄的な人間の抵抗など忘れ去るということです。組織化する時間などありません。誰かがEnterキーを押せば、それで終わりです。
ユドコウスキー氏は、超知能は最初から倫理に近いものを備えて設計されるべきだと考えている。彼はこれを、その成長を監査・制御可能な、牽制と均衡のシステムとして構想している。そうすれば、超知能は学習、進化、そして自己再プログラムを続けながらも、自らの無害なコードから逸脱することはない。こうした事前プログラムされた措置によって、超知能は「人間の直接的な監視がない場合でも、私たちの意図通りに行動する」ことが保証される。エリエザー氏はこれを「友好的なAI」と呼んでいる。
ユドコウスキー氏によると、AIが広範囲に自己再プログラムする能力を獲得した時点で、安全策を講じるには手遅れとなるため、社会は今から知能爆発に備える必要がある。しかし、科学の進歩は散発的で予測不可能であり、世界中で超知能を創造しようとする数々の秘密の試みによって、この備えは複雑化している。いかなる超国家組織も、これらの試みの全てを追跡することはできず、ましてやいつ、あるいはどれが成功するかを予測することは不可能である。
イーライとその支持者たちは、「様子見」アプローチ（一種の満足化）こそがケヴォーキアンの処方箋だと信じている。「（超知能の誕生は）5年後かもしれないし、40年後かもしれないし、60年後かもしれない」とユドコウスキー氏は語った。「あなたにも私にも分からない。地球上の誰も知らない。そして、実際に分かる頃には、もう何もできないだろう」
リチャード・A・クラークは、国家安全保障分野で30年、ホワイトハウスで10年以上の経験を積んだベテランで、現在はグッド・ハーバー・セキュリティ・リスク・マネジメントのCEOを務め、R・P・エディと共著で『Warnings: Finding Cassandras To Prevent Catastrophes』を執筆しています。クラークはシアトルに拠点を置くAIサイバーセキュリティ企業Versiveの顧問も務めています。
RP・エディ氏は、世界有数の諜報会社の一つであるエルゴのCEOです。国家安全保障分野で長年のキャリアを積み、ホワイトハウスの国家安全保障会議（NSC）の議長も務めました。
