Watch

AIシステムの知能を測る最良の方法は何でしょうか？研究者たちはIQテストを開発しています

AIシステムの知能を測る最良の方法は何でしょうか？研究者たちはIQテストを開発しています

リサ・スティフラー著

WSUのダイアン・クック教授は、DARPAの資金提供を受けたプロジェクトの一環として、AIを評価するためのテストの開発に取り組んでいる同大学の研究者の一人です。(WSU写真)

人工知能は、遠隔カメラで捉えたヒマラヤの草原の中からユキヒョウを見つけたり、交通渋滞の中で自動運転車を操縦したり、囲碁で世界レベルの対戦相手に勝ったりと、多くの素晴らしいことを実現できます。

しかし、これらのシステムは、人間が概念として認識しているとおり、実際にインテリジェントなのでしょうか?

ワシントン州立大学プルマン校の研究者たちは、AIシステムが本当に何を知っているかを調べるためのIQテストを開発している。

「様々なタスクで非常に優れた能力を発揮しているAIシステムが世の中には存在します」と、ワシントン州立大学のダイアン・クック教授は述べています。しかし、こうした能力はそれぞれのシステム内で限定的に発揮される傾向があります。「ただ一つのタスクを学習したからといって、本当に知能があると言えるのでしょうか？」

ワシントン州立大学（WSU）電気工学・コンピュータサイエンス学部の教授であるクック氏とラリー・ホルダー氏は最近、この問題に取り組むため、最長5年間にわたり100万ドルの助成金を受けた。この資金は、米国防高等研究計画局（DARPA）から提供される。

ビデオゲーム「ViZDOom」は、ワシントン州立大学の教授たちが人工知能のテストに使用しているツールの一つです。（WSU画像）

資金提供は1ヶ月前に開始され、研究者たちは知能の範囲に関する基本的な疑問の解明に着手しています。これには、画像の認識、自然言語の理解と生成、推論、問題解決における計画性の利用などが含まれます。科学者たちは、新しい経験への対応能力や知識を異なる状況に転用する能力など、厳密な評価基準を用いることを目指しています。また、機械の知識におけるバイアスの検証も行っています。バイアスは、アルゴリズムの適用方法によっては、人種、性別、その他の差別につながる可能性があります。

知能を定義し、測定することは難しい作業です。学生や求職者のあらゆる知能を測るための効果的な標準テストを開発することが、どれほど困難だったかを考えてみてください。

「自分のマシンが汎用知能を持っているかどうかを確かめようとしているなら、汎用知能の意味を定義し、テストが本当にそれをテストしていることを確認する必要があります」と、DARPAプロジェクトには参加していないポートランド州立大学コンピューターサイエンス学部のメラニー・ミッチェル教授は述べた。

この分野における課題の一つは、機械の学習方法です。ミッチェル氏は、研究室の学生が動物が写っている写真を認識するプログラムを教えていた例を挙げました。このプログラムは学習しているように見えましたが、研究者たちは、アルゴリズムが認識していたのは動物の画像ではなく、背景のぼかしだったことに気づきました。動物には焦点が合っているのに背景には焦点が合っていないことが多く、風景だけのシーンでは背景が鮮明であることが判明しました。

「機械が囲碁を打ったり物体を認識したりするような特定のことを学習したと誤解している人が多いのですが、人間と同じように学習したと思い込んでいます」とミッチェル氏は述べた。「機械が人間と同じように学習しなかったり、知識を伝達できなかったりすると、驚きます。」

WSU プロジェクトは、DARPA のオープンワールドの新奇性のための人工知能と学習の科学 (SAIL-ON) プログラムの一部です。

SAIL-ONのウェブサイトには、「AIシステムが軍事用途のあらゆる分野において人間と効果的に連携するためには、知能機械は限られた境界内での閉世界における問題解決から、流動的で斬新な状況を特徴とするオープンワールドの課題へと進化する必要がある」と記されている。このプログラムの目標は、軍事ニーズを満たす高性能AIシステムを開発・試験することである。

WSUのラリー・ホルダー教授は、AIシステムをテストするプロジェクトに取り組んでいます。(WSU写真)

AIの能力を拡張し、理解を深めるために取り組んでいる組織は他にもあります。北西部では、シアトルのアレン人工知能研究所（AI2）とワシントン大学ポール・G・アレンコンピュータサイエンス・エンジニアリング学部のAIグループがその一例です。AI2は9月、8年生の多肢選択式理科テストに合格できるほど賢いAIプログラム「Aristo」を開発したと発表しました。

WSUのホルダー氏は、人工知能（AI）指数（AIQ）ウェブサイトを運営しており、AI開発者が自社のシステムをテストするための初期テストをいくつか提供しています。このサイトは一般公開されており、研究者にもデータを提供します。

「私たちは、日常の多くの作業を手伝ってくれるロボットアシスタントのような、より汎用性の高いシステムのテストと改良に注力しています」とホルダー氏は準備したリリースで述べた。

WSUの科学者たちは、AI技術が解ける問題の難易度に応じてAI技術を評価するテストの開発を目指しています。当初の計画では、ビデオゲーム、多肢選択問題、ルービックキューブの解き方などがテストに含まれています。

「これは草の根レベルに戻って、AIとは何なのかを語る機会だ」とクック氏は語った。

編集者注： GeekWireのImpactシリーズは、公共ジャーナリズムを支援するSingh Family Foundationの資金提供を受けています。GeekWireの編集者と記者は独立して活動し、コンテンツの編集権を完全に保持しています。