アレンAI研究所が新たなオープンソースAIモデルでDeepSeekの主要ベンチマークに挑戦
トッド・ビショップ著
アレンAI研究所（Ai2）は、オープンソースの人工知能の分野をさらに進歩させ、AIモデルの機能を強化する独自の技術を実証することを目的として、Tülu 3 AIモデルの超大型バージョンをリリースしました。
シアトルを拠点とする同研究所は、木曜の朝に発表された新しいTülu 3 405Bモデルの性能は、テクノロジー業界の注目を集め、業界の大規模なAI投資の前提に挑戦している中国発のオープンソースモデルであるOpenAIのGPT 4oおよびDeepSeek v3に匹敵、もしくは上回ると述べた。
Ai2は、同社の新モデルは米国が大手テクノロジー企業の影響から自由な、競争力のあるオープンソースの人工知能を生産できることを示していると述べた。
新しい Tülu バージョンには 4,050 億のパラメーターがあり、以前の最大バージョンの 700 億のパラメーターと比較して、トレーニング データ内のパターンと関係の複雑さを捉えるモデルの能力が大幅に向上しています。
Tülu 3 405B モデルのチャットボットのデモが、更新された研究論文とともに、GitHub 上の基礎コードへのアクセスとともに利用できるようになりました。
DeepSeek と同様に、Ai2 Tülu プロジェクトは、言語モデルを改良してその機能を強化し、特定のタスクに適したものにする、トレーニング後のプロセスに重点を置いています。
Ai2によると、Tülu 3 405Bは「これまでで最大の完全にオープンソースの学習済みモデル」だという。
Ai2 のトレーニング後のアプローチには、検証可能な報酬からの強化学習 (RLVR) と呼ばれる手法が含まれており、数学の問題を解く、指示に従うなどの客観的に検証可能なタスクに対する応答が正しいかどうかに基づいてモデルに報酬を与えたりペナルティを与えたりすることでモデルをトレーニングします。
Ai2は、11月にリリースしたTülu 3モデルで、RLVRアプローチの有効性を初めて実証しました。Ai2によると、最新リリースでは、RLVRをはるかに大規模に展開できることが実証されています。
「このリリースの主な目的は、当社の新しいRLVRアプローチとトレーニングインフラストラクチャを大規模にストレステストし、Tülu 3レシピをLlama-405Bベースモデルに拡張することです」とAi2 Tüluチームはブログ投稿で説明しました。
そのような規模であっても、「トレーニング パイプラインは堅牢であることが証明されました」と研究者たちは書いています。
DeepSeekも同様に、強化学習を後学習の中核コンポーネントとして採用しましたが、ラベル付きデータを用いた予備段階である教師あり微調整（ゼロまたは最小限）など、いくつかの異なる手法を採用しました。また、DeepSeekは、既存のモデルをより小さなバージョンに分割してパフォーマンスを向上させることの価値も示しました。
結果として得られた効率性は、AIモデルのトレーニング用の新しいインフラを構築するために業界全体で行われている投資に疑問を投げかけ、今週初めに主要なハイテク株が急落する事態を引き起こした。
Ai2は、故マイクロソフト共同創業者のポール・アレン氏によって2014年に設立されました。ワシントン大学アレン・スクール・オブ・コンピュータサイエンス＆エンジニアリングと連携しており、ワシントン大学の教員数名がAi2の研究リーダーを務めています。
Ai2は昨年、視覚データを斬新な方法で処理するマルチモーダル人工知能モデル「Molmo」をリリースしました。Ai2は、AIモデルの透明性を高めるためのより大規模な取り組みの一環として、2023年にオープン言語モデル（OLMo）をリリースしました。
