DeepSeekの新しいモデルは、2025年にはAIの専門知識がコンピューティングよりも重要になる可能性があることを示している
ジョン・トゥロウ著
編集者注：この記事は、ジョン・トゥロウ氏のSubstackニュースレターに初掲載されました。トゥロウ氏はMadrona Venture Groupの投資家であり、Amazon Web Servicesの元リーダーです。
AI コミュニティは当然のことながら、新モデルの DeepSeek R1 について話題になっており、それが何を意味するかを理解しようと急いでいます。
High-Flyer ヘッジファンドから生まれた中国の AI スタートアップ企業 DeepSeek によって作成された同社の主力モデルは、主要な推論ベンチマークにおいて OpenAI の o1 シリーズのモデルに匹敵するパフォーマンスを示し、また、同社の精製された 7B モデルは、おそらくより大規模なオープンソース モデルよりも優れていると言えます。
しかし、民主化とパフォーマンスに関する直接的な興奮を超えて、DeepSeek はより深遠な何かを示唆しています。それは、ドメイン エキスパートが、限られたリソースで強力な特殊モデルを作成するための新しい道です。
この画期的な進歩は、私たちの業界に3つの大きな影響を与えます。まず、アプリケーション開発者は、強力な新しいオープンソースモデルを基盤として利用できるようになります。そして、大手研究機関は、これらの効率化イノベーションを活用して、より大規模なモデルの開発をさらに推し進める可能性が高くなります。
しかし、最も興味深いのは、DeepSeek のアプローチが、次世代の AI モデルとインテリジェント アプリケーションの構築において、生のコンピューティングよりも深いドメイン専門知識が重要になる可能性があることを示唆している点です。
生のコンピューティングを超えて：スマートトレーニングの台頭
DeepSeek R1が特に興味深いのは、強力な推論能力をどのように実現したかです。高価な人間によるラベル付けデータセットや大規模な計算に頼るのではなく、チームは2つの重要な革新に焦点を当てました。
まず、彼らは自動検証可能なトレーニングデータを生成しました。これは、正確性が明白な数学などの分野に焦点を当てたものです。次に、どの新しいトレーニング例が実際にモデルを改善するのかを特定できる、非常に効率的な報酬関数を開発しました。これにより、冗長なデータに対する無駄な計算を回避できます。
結果は示唆に富んでいます。AIME 2024数学ベンチマークにおいて、DeepSeek R1-Zeroは71.0%の精度を達成しました。これに対し、o1-0912は74.4%でした。さらに印象的なのは、7Bモデルを抽出したモデルが55.5%の精度を達成したことです。これは、はるかに少ないパラメータ数にもかかわらず、QwQ-32B-Previewの50.0%を上回っています。1.5Bパラメータのモデルでさえ、AIMEで28.9%、MATHで83.9%という驚異的な精度を達成しており、集中的なトレーニングによって、限られた計算量で特定の領域において優れた結果を達成できることを示しています。
アプリケーション開発者への贈り物
DeepSeekの取り組みがもたらす即時的なインパクトは明らかです。15億から700億のパラメータを持つ6つの小規模モデルをオープンソースで公開することで、アプリケーション開発者は優れた推論モデルを基盤として構築するための強力な新たな選択肢を得ることができます。特に、140億のパラメータを持つモデルは、主要なベンチマークにおいて、より大規模なオープンソースの代替モデルを上回る性能を示しており、モデルのトレーニングに煩わされることなく、純粋にアプリケーション開発に集中したい開発者にとって魅力的な基盤となります。
リーダーの加速
主要なAIラボにとって、DeepSeekの学習効率におけるイノベーションは、より大規模なモデル開発競争を遅らせるどころか、むしろ加速させるでしょう。これらの技術は、膨大な計算リソースと相乗的に活用され、汎用モデルの限界をさらに押し広げるでしょう。トップをめぐるコンピューティング競争は、より優れた燃料によって、今後も続くでしょう。
ドメインエキスパートのための新たな道
しかし、最も興味深い影響は、特定の分野に関する深い専門知識を持つチームにとってのものかもしれません。業界では、スタートアップは独自のモデルを開発するのではなく、既存のモデルをベースにアプリケーションを構築することに注力すべきだと広く示唆されてきました。DeepSeekは、別の方法があることを示しています。それは、特定の分野に関する深い専門知識を応用することで、通常のコストのほんの一部で、高度に最適化された特化型モデルを作成することです。
DeepSeekが、報酬関数が極めて明確であるヘッジファンドであるHigh-Flyerから生まれたことは、示唆に富んでいます。High-Flyerでは、金融リターンが報酬関数として明確に定義されています。彼らが既にこれらの技術を金融モデリングに適用し、市場データに対する予測の自動検証によって非常に効率的な学習を実現していると想像するのは妥当でしょう。
このパターンは、明確な成功指標を持つあらゆる分野に適用できます。以下の分野に深い専門知識を持つチームを検討してみてください。
- アプリケーションのパフォーマンス、コミット履歴、およびフィードバックのための検証/テストを使用したコード生成
- 市場データを用いた検証のための財務モデリング
- 臨床結果を真実とする医療診断
- 法的分析、つまり、判例結果が検証を提供するもの
- 実世界のパフォーマンスデータがフィードバックループを作成する産業オペレーション
DeepSeek の技術により、このようなチームは次のことが可能になります。
- ドメインルールに照らして自動的に検証できる合成トレーニングデータを生成する
- 高価値のトレーニング例を効率的に識別する報酬関数を作成する
- コンピューティングリソースを、ドメインにとって最も重要な特定の機能に集中させる
- 専門モデルをドメイン固有のアプリケーションと垂直統合する
このアプローチの威力は、DeepSeekの蒸留結果に明らかです。32Bパラメータモデルは、AIME 2024で72.6%、MATH-500で94.3%の精度を達成し、従来のオープンソースモデルを大幅に上回りました。これは、集中的な学習によって、生のパラメータ数という問題を克服できることを示しています。
モデル開発の未来
今後、モデル開発は次の 3 つの分野に分かれていくと思われます。
- ますます強力になるオープンソース基盤上に構築するアプリケーション開発者
- 効率化技術を用いて汎用モデルをさらに進化させる主要研究室
- 限られた計算予算で、高度に最適化された特化したモデルを作成するドメイン専門家
この3つ目の流れ、つまりドメインエキスパートが独自のモデルを構築するという流れが最も興味深い。これは、最も興味深いAI開発が、誰が最も多くの計算能力を持つかではなく、誰がドメインの専門知識と巧妙な学習手法を最も効果的に組み合わせるかによって生まれる未来を示唆している。
スマートなトレーニングが、単なる計算処理よりも重要になる時代に入りつつある ― 少なくとも、適切な問題に集中できる賢明な人々にとっては。DeepSeekは、一つの道筋を示しました。他の企業も追随するでしょうが、これらの根本的なイノベーションに、それぞれの分野特有の工夫を加えることになるでしょう。
