「ブラックボックスからガラスの箱へ」：Ai2はAIの出力をトレーニングデータにリンクし、透明性を飛躍的に向上させる

アレンAI研究所（Ai2）は、AIが生成したテキストをトレーニングデータにリンクする新しいツールをリリースした。このツールは、この分野における最大の謎の1つに取り組むことで、人工知能の透明性と説明責任を向上させることを目指している。

Ai2 によれば、OLMoTrace プロジェクトは、大規模な言語モデルのトレーニングに使用されるデータが、その生成結果にどのような影響を与えるかを示す点で、他のどのツールよりも進んでいるという。

シアトルを拠点とする非営利団体のCEO、アリ・ファルハディ氏はAi2本部での記者会見で、この技術は「ブラックボックスをガラスの箱に変える」ものだと述べた。

OLMoTraceは、AIの回答からトレーニングデータに逐語的に現れるフレーズをハイライト表示し、ユーザーにソースへのリンクを提供します。これは、ファクトチェックを支援し、AIがトレーニングデータからどのように影響を受けるかを理解しやすくすることを目的としています。

水曜日にGoogle Cloud Nextカンファレンスに合わせて発表されたこのツールは、AI開発におけるAi2のオープンアプローチに基づいており、トレーニングデータ、コード、モデルの重み、その他のAIモデルのコンポーネントの公開などが含まれます。Ai2はOLMoTraceをオープンソース化し、他のユーザーが利用、適応、開発できるようにしています。

AI モデルが応答をどのように生成するのかという疑問は、2022 年 11 月に OpenAI の ChatGPT が初めてリリースされて以来、AI に関してずっとつきまとってきた。

それで、Ai2 はブラックボックスを覗き込むことで何を学んだのでしょうか?

まだ包括的な結論には達していないものの、研究者たちはこれまでに、推論を通じて答えを導き出すのではなく、AI モデルがトレーニングで確認したパターンを繰り返す例を確認している。

場合によっては、問題解決のように見えるものが、実際にはモデルがトレーニングに使用した例をコピーしているだけであることもあります。 

例えば、Ai2の研究者たちは、Claudeチャットボットの開発元であるAnthropicが最近のブログ記事で分析した数学の問題「36+59」を調査しました。Anthropicはモデル内の複雑な内部プロセスに答えを導いたのに対し、Ai2は同じ問題と答え（95）がトレーニングデータ内に複数回出現していることを発見しました。 

多くの AI モデルは類似したデータセットでトレーニングされているため、モデルが単独で問題を解決したのではなく、以前に見た答えを単に繰り返しただけである可能性があります (または可能性が高いです)。

これは、クイズ中に他の人の肩越しに覗き込むような AI のようなものです。

Ai2の研究者たちは、ある意味では「トリック」の仕組みを明らかにすることで、AIの神秘性や魔法っぽさが薄れてしまうかもしれないと認めている。しかし、AIモデルがトレーニングからどれだけの情報を保持できるか、そしてその重みにどれだけの知識が埋め込まれているかを見るのは、非常に印象的だと彼らは述べている。  

このアプローチはAIの幻覚を説明できるでしょうか？はい、少なくともいくつかのケースでは可能です。Ai2の研究者たちは、AIのミスや誤った主張が、トレーニングデータ内の誤った情報に起因する場合があることを発見しています。

「一部の文書には間違った内容、事実と異なる内容が含まれており、それがモデルのトレーニング パイプラインに取り込まれ、結果的にモデルを誤解させる原因となっていました」と、Ai2 の OLMoTrace の主任研究者でワシントン大学の博士課程の学生である Jiacheng Liu 氏は語る。

Ai2の研究者によると、OLMoTraceは文書とモデルの出力の間に直接的な因果関係を証明するものではないという。むしろ、モデルがトレーニング中にその言語から情報を得た可能性を示唆している。 

「科学的にはこれが原因だとは言いませんが、直感的には納得できます。学習データで確認されているので、納得できます」と、Ai2のNLP研究シニアディレクターであり、ウィスコンシン大学アレン校コンピュータサイエンス准教授のハンナ・ハジシルジ氏は述べています。 

OLMoTraceにアクセスするには、Ai2 PlaygroundでAi2のオープンソース言語モデルのいずれかから応答を生成できます。出力の下に「OLMoTraceを表示」ボタンが表示されます。

クリックすると、モデルのトレーニングデータに逐語的に出現するフレーズがツールによってハイライト表示されます。右側のパネルには、それらのフレーズが見つかった元の文書へのリンクがあります。

Ai2の研究者は、OLMoTraceは、人々や企業が情報の出所を知り、それを確認する必要がある医療、金融、科学などの分野で役立つ可能性があると述べている。 

場合によっては、このツールは、どのデータが AI の回答に影響を与えたかを示すことで、規則や規制の遵守を容易にする可能性もあります。

Ai2によると、OLMoTraceは、ソース資料にリンクする他のツールとはアプローチが異なるという。例えば、Perplexity.aiはまず文書を探し、それを用いてAIが回答を作成するのを支援する。

OLMoTraceは逆のアプローチを採用しています。モデルの回答が生成された後にそれをレビューし、その一部がトレーニングデータに反映されているかどうかを確認します。目的はモデルを誘導することではなく、回答がどこから来ているのかを人々が理解できるようにすることです。

Ai2は、故マイクロソフト共同創業者ポール・アレン氏によって2014年に設立され、アレン氏の遺産管理団体やその他の寄付者から資金提供を受けている。

今週初め、Ai2はGoogle Cloudとの提携を発表し、Ai2のモデルを配布することになりました。OLMoTraceはGoogle Cloudでホストされています。この非営利団体は2024年に111個の人工知能モデルを開発・リリースし、先週AI Cancer Allianceへの参加を発表しました。