アレンAI研究所は「科学者による、科学者のための」オープンな生成AI言語モデルを作成しています

今日のニュースを読んでいると、人工知能、特に生成 AI と大規模言語モデル (LLM) という新興分​​野における最新の進歩に関する記事を必ず目にすることになります。

急速な開発のペースにより、この分野はまるで無法地帯のようになっており、新興企業から大企業まで、誰もが遅れを取らないようできるだけ早く市場に参入しようと競い合っている。

残念ながら、これによっていくつかの問題や懸念が生じますが、その主な理由は、これらの企業が使用している言語モデルがまったく透明ではなく、完全に理解されていないことです。

シアトルのアレンAI研究所（AI2）は、この状況を変えるために取り組んでいます。 

AI2は木曜日、AI2 OLMo（Open Language Model）と呼ばれるオープンな生成言語モデルを開発中であると発表した。700億パラメータという規模は他の最先端LLMに匹敵し、2024年初頭のリリースが予定されている。

この取り組みは、「科学者による、科学者のための」オープン言語モデルを開発するという点でユニークです。 

「科学コミュニティを念頭に置き、OLMoは言語モデルの科学を進歩させることを目的として構築されます」と、OLMoプロジェクトリーダーであり、AI2のNLP研究シニアディレクター、ワシントン大学アレン校コンピュータサイエンス＆エンジニアリング学部教授でもあるハンナネ・ハジシルジ氏は述べています。「OLMoは、科学的理解と発見のために特別に設計された初の言語モデルとなるでしょう。」

この取り組みは、モデルの開発、実装、利用を含むあらゆる側面へのアクセスと教育を提供することで、研究コミュニティだけでなく一般の人々にも利益をもたらすでしょう。さらに、このオープンモデルは、AMDおよびCSCと共同で、世界で最も環境に優しいスーパーコンピュータの1つであるLUMIを使用して開発されています。

「OLMoは特別なものになるでしょう」と、OLMoプロジェクトのリーダーであり、AI2のNLP研究のシニアディレクター、アレンスクールの教授でもあるノア・スミス氏は語った。

スミス氏はさらに次のように付け加えた。「生成言語モデルのビジネスポテンシャルを活かそうと多くの企業が躍起になっている状況において、AI2は、当社の世界クラスの専門知識とAMDおよびLUMIの世界クラスのハードウェアを融合させ、科学者や研究者が関わり、学び、次世代の安全で効果的なAIテクノロジーを生み出すために使用できるように特別に設計されたものを生み出すという独自の能力を備えています。」

AI2の目標は、世界最高のオープン言語モデルを共同で構築することです。OLMoの理念は、言語モデルをより深く理解し、活用したいと願う何百万人もの人々にアクセスを提供することで、誰もがより迅速かつ安全に進歩できる環境を創造できるというものです。

この取り組みにより、AI研究コミュニティの多くの人々が初めてLLMに直接取り組むことが可能になります。OLMoプロジェクトのすべての要素（データだけでなく、その作成に使用されたコードも含む）にアクセス可能になることで、研究コミュニティは自らが作成したものを直接受け取り、改善に取り組むことが可能になります。 

AI2 は、モデルの作成に関する倫理的および教育的考慮事項をオープンに共有し、議論することで、言語モデル化技術の理解と責任ある開発を導くことに貢献したいと考えています。

これらの生成型AIモデルは、メール、戦略計画、ソフトウェアコードを作成するビジネスアプリケーションの構築から、新世代の検索エンジンの基盤の提供まで、あらゆる用途に既に活用されています。複雑なアイデアを抽出・説明したり、数学の問題を解いたり、音楽を作曲したり、あらゆるトピックに関するエッセイを書いたりすることも可能です。

しかし、これらすべてのタスクを実行する能力は存在するものの、機能面および倫理面において多くの問題が残っており、中でも特に重要なのは、生成されるデータの信頼性と正確性です。OLMoのような真にオープンなモデルは、こうした問題の解決に役立つ可能性があります。

この取り組みにおけるその他の組織的パートナーシップには、データとトレーニングコードの提供においてSurge AIおよびMosaicMLとの協力が含まれます。AI2はまた、プロセス全体を通してフィードバックを提供するために、社内および社外のアドバイザーで構成される倫理審査委員会を設置しました。

LLMは通常、ウェブをクロールすることで、公開されている膨大な資料からデータを取得します。これにより、知的財産権に関する多くの懸念が生じています。OLMoチームは、これらの問題をより適切に評価し、対処するために、AI2の法務部門および外部の法律専門家と緊密に連携しています。

典型的なLLMの運用には膨大な計算リソースが必要となるため、OLMoをより環境に優しい言語モデルとして開発することは極めて重要です。AIモデルの電力使用量と排出量に関する透明性の向上は、これらのツールがビジネスや社会全体でますます普及し、使用されるようになるにつれて、ますます重要になります。例えば、6か月前にリリースされたOpenAIのChatGPTは現在16億人のユーザーを抱えていますが、その実際のエネルギー消費量は一般の人々には推測することしかできません。  

「生成AIは、過去数十年間に検索エンジンやスマートフォンが社会に浸透したように、この10年間の画期的な技術となる可能性を秘めています」と、CSCの科学技術ディレクターであるペッカ・マンニネンは述べています。「オープンで透明性があり、説明可能な法学修士課程は、この技術の民主化に不可欠です。」

フィンランド高性能コンピューティング・ネットワーキングセンター（CSC）は、AI2 OLMoにLUMIスーパーコンピューティングリソースへのアクセスを提供しています。これは、法学修士（LLM）の訓練と運用におけるインフラストラクチャの役割をより深く理解する上で重要な要素です。フィンランドのカヤーニにあるCSCのデータセンターに設置されているLUMIは、汎欧州規模のプレエクサスケール・スーパーコンピュータです。

マンニネンは次のように続けました。「この共同研究の社会的影響の大きさと技術的野心の高さに鑑み、参加できることを誇りに思います。LUMIスーパーコンピュータと私たちの専門知識を活かして貢献できることを嬉しく思います。LUMIのようなスーパーコンピュータは、LLM（法言語モデル）の訓練を桁違いに加速させることができ、LUMIインフラストラクチャの他の多くの機能により、LUMIは自然言語処理の主要プラットフォームとしての地位を確立しています。」

LUMI（Large Unified Modern Infrastructure）は、2022年11月のTOP500ランキングで、実測性能301.9PFLOPSを記録し、世界第3位のスーパーコンピュータにランクインしました。Green500でも上位にランクインしています。LUMIのGFLOPS/W比は51.38で、世界で最も環境に優しいスーパーコンピュータの一つとなっています。Lumiはフィンランド語で「雪」を意味します。