アレンAI研究所はOLMoリリースにより大規模言語モデルへの新たな洞察を約束
トッド・ビショップ著
アレンAI研究所（AI2）は木曜日、生成AIの実際の仕組みに関する理解を大幅に向上させることを目的とした、待望のオープンソース大規模言語モデルと基礎データおよびコードをリリースした。
AI2は発表の中で、「オープン言語モデル（OLMo）は、真にオープンソースで最先端の大規模言語モデルであり、事前学習データと学習コードと共にリリースされます。現在、これほどの規模のオープンモデルは他に類を見ません」と述べています。その目標は、「言語モデルの科学を総合的に進歩させること」です。
これは、故ポール・アレン氏が2014年にマイクロソフト共同創業者によって設立したシアトルを拠点とする非営利研究所にとって大きな節目となる。この取り組みは、トレーニングデータやコードを公開しないOpenAIなどの閉鎖的な法学修士課程とは対照的だ。
OLMo は HuggingFace と GitHub で入手できます。
AI2社によると、データとコードを可視化することで研究者の効率が向上し、AIモデルのブラックボックス内で何が起こっているかについて推測する必要がなくなり、科学的な評価が可能になるという。また、冗長性を排除することでAI研究におけるエネルギー効率も向上するとAI2社は述べている。
OLMoプロジェクトリーダーのハンナ・ハジシルジ氏は声明の中で、トレーニングデータにアクセスできない状態でLLMを研究することは、「臨床試験なしでの創薬や望遠鏡なしでの太陽系の研究と同じだ」と述べた。
「私たちの新しいフレームワークにより、研究者はついにLLMの科学を研究できるようになります。これは、次世代の安全で信頼できるAIの構築に不可欠です」とハジシルジ氏はAI2の発表の中で述べた。
AI2は、このプロジェクトはハーバード大学ケンプナー自然・人工知能研究所、AMD、CSC（ルミ・スーパーコンピュータ）、ワシントン大学ポール・G・アレン・コンピュータサイエンス＆エンジニアリング学部、データブリックスなどのパートナーとの協力により実現したと述べた。
このモデルの最初のバージョンはOLMo 7Bと呼ばれています。これは、モデルの学習に使用された70億個のパラメータに由来しています。パラメータの数が増えるほど、応答の複雑さとニュアンスが大きくなります。AI2は以前、OLMoのパラメータ数は700億になると発表していましたが、現在では次期バージョンも700億個のパラメータを持つと予想されています。
AI2は、ワシントン大学のコンピューターサイエンス教授であり、元アップルの機械学習リーダーでもあるアリ・ファルハディCEOが、オーレン・エツィオーニ氏の後任として昨年の夏から率いてきた。
