AIの次のフロンティア：AlphaCodeは平均的なプログラマーのプログラミング能力に匹敵できる

人工知能（AI）ソフトウェアプログラムは、会話をしたり、ボードゲームで勝利したり、アート作品を制作したりする点で驚くほど優れた能力を発揮しつつある。しかし、ソフトウェアプログラムの作成についてはどうだろうか？Google DeepMindの研究者たちは、新たに発表された論文の中で、AlphaCodeプログラムが標準化されたプログラミングコンテストにおいて平均的な人間のプログラマーに匹敵できると述べている。

「この結果は、人工知能システムがプログラミングコンテストで競争力を発揮した初めての事例である」と研究者らは今週発行のサイエンス誌で報告している。

Skynetについてはまだ警鐘を鳴らす必要はない。DeepMindのコード生成システムは、Codeforcesプラットフォームでの最近のプログラミングコンテストのシミュレーション評価で平均上位54.3%のランキングを獲得した。これは非常に「平均的な」平均だ。

「競技プログラミングは非常に難しい課題であり、現在の私たちのレベル（10回の提出で約30%の問題を解く）とトッププログラマーのレベル（1回の提出で90%以上の問題を解く）の間には大きな差があります」と、Science論文の主要著者の一人であるDeepMindの研究科学者、Yujia Li氏はGeekWireへのメールで述べた。「残りの問題も、私たちが現在解いている問題よりもはるかに難しいのです。」

とはいえ、この実験はAI応用における新たな境地を示唆しています。マイクロソフトも、GitHubを通じて提供されるコード提案プログラム「Copilot」でこの境地を開拓しています。Amazonも同様のソフトウェアツール「CodeWhisperer」を提供しています。

シアトルのアレン人工知能研究所の創設CEOであり、AI2インキュベータのテクニカルディレクターを務めるオーレン・エツィオーニ氏は、新たに発表された研究は、大規模言語モデル（LLM）と呼ばれるAIツールの応用における主要プレーヤーとしてのDeepMindの地位を浮き彫りにするものだ、とGeekWireに語った。

「これは、OpenAIとMicrosoftがLLMの素晴らしい成果を独占しているわけではないことを改めて示す、素晴らしい成果です」とエツィオーニ氏はメールで述べた。「それどころか、AlphaCodeはGPT-3とMicrosoftのGithub Copilotの両方を凌駕しています。」

AlphaCodeは、そのプログラミングの巧みさだけでなく、そのプログラミング方法においても注目に値すると言えるでしょう。「このシステムで最も驚くべき点は、AlphaCodeが行わないことです。AlphaCodeには、コンピュータコードの構造に関する明示的な組み込み知識が一切含まれていません。その代わりに、AlphaCodeは純粋に『データ駆動型』のアプローチでコードを記述し、既存のコードを大量に観察するだけでコンピュータプログラムの構造を学習します」と、カーネギーメロン大学のコンピュータ科学者であるJ・ジコ・コルター氏は、この研究に関するサイエンス誌の論評で述べています。

AlphaCodeは、大規模な言語モデルを用いて、問題の自然言語記述に対応するコードを構築します。このソフトウェアは、プログラミング問題とその解答の膨大なデータセットと、GitHub上の非構造化コード群を活用します。AlphaCodeは、問題に対する数千もの解決策案を生成し、それらをフィルタリングして妥当でないものを除外し、残った解決策をグループにまとめ、各グループから1つの例を選択して提出します。

「この手順で正しいコードが作成できる可能性があるというのは驚くべきことかもしれない」とコルター氏は述べた。

コルター氏は、AlphaCode のアプローチは、システムのパフォーマンスを向上させるために、より構造化された機械言語方式と統合できる可能性があると述べた。

「データ駆動型学習と工学的知識を組み合わせた『ハイブリッド』ML手法が、このタスクでより良いパフォーマンスを発揮できるのであれば、試させてあげてほしい」と彼は書いた。「AlphaCodeが賽を投げるのだ。」

Li氏はGeekWireに対し、DeepMindはAlphaCodeの改良を続けていると語った。「AlphaCodeは0%から30%への大きな進歩ですが、まだやるべきことはたくさんあります」と彼はメールに記した。

エツィオーニ氏も、コード生成ソフトウェアの開発には「十分な余地がある」と同意した。「迅速な反復と改善を期待しています」と彼は述べた。

「生成AIの『ビッグバン』まであとわずか10秒です。テキストデータと構造化データの両方を含む、より多様なデータに基づいた、より優れた製品が間もなく登場するでしょう」とエツィオーニ氏は述べた。「私たちは、この技術がどこまで発展するのかを熱心に探究しています。」

AlphaCodeの開発が進むにつれ、DeepMindのAlphaGoプログラムが古代囲碁を機械が凌駕した時のように、AIの可能性と潜在的な危険性をめぐる長年の議論を巻き起こす可能性もある。そして、AIの急速な進歩が論争を巻き起こしているのはプログラミングだけではない。

• ChatGPTと呼ばれるOpenAIプログラムは、学期末レポートから驚くべき辞職書に至るまで、情報要求に詳細な回答と文書で応答できるため、テクノロジーコミュニティで大きな話題を呼んでいる。
• Lensa、DALL-E、Stable DiffusionなどのAIベースのアート生成プログラムは、人間の手によって作成された何百万ものアーカイブされたアート作品を不当に利用しているのではないか、そして、生きているアーティストの将来の市場を破壊する可能性があるのではないかという議論を巻き起こしている。
• 最近、ボットはチェッカーやチェスとは異なり、対戦相手の不完全な情報に基づいて評価を行う戦略ゲームで、人間のプレイヤーと対戦するようになりました。DeepMindのDeepNashプログラムはStrategoというボードゲームに焦点を当てており、MetaのCiceroプログラムはDiplomacyと呼ばれる世界征服ゲームに焦点を当てています。こうした進歩から、AIが現実世界の政策立案者（あるいは詐欺師）への助言に活用できるのではないかと考える人もいます。

ディープマインドが自社の製品に何らかの懸念を抱いているかどうかをリー氏に尋ねたところ、同氏は思慮深い答えを返した。

AIは人類が直面する最大の課題の解決に貢献する可能性を秘めていますが、責任を持って安全に構築され、すべての人々の利益のために利用されなければなりません。AIが私たちや社会にとって有益か有害かは、私たちがAIをどのように展開し、どのように活用し、どのような用途に活用するかによって決まります。

DeepMindでは、AI開発において思慮深いアプローチを採用しています。私たちの取り組みは綿密に精査され、結果とリスクの軽減を考慮した上で初めて技術を公開します。私たちの価値観に基づき、責任ある先駆者文化は、責任あるガバナンス、責任ある研究、そして責任あるインパクトを軸に築かれています（当社の運営原則はこちらをご覧ください）。 

12月8日午後1時（太平洋標準時）の更新：アレン人工知能研究所の主任エンジニアであり、AI2の内部AI実験プラットフォームであるBeakerの構築チームを率いるサム・スジョンスバーグ氏が、AlphaCodeについての見解を述べました。

LLMをコード合成に応用することは驚くべきことではありません。DALL-E、OpenAI Codex、Unified-IO、そしてもちろんChatGPTといった取り組みによって、これらの大規模モデルの一般化可能性は広く明らかになりつつあります。

「AlphaCodeの興味深い点の一つは、解空間をフィルタリングし、明らかに間違っているものやクラッシュするものを除外する後処理ステップです。これは重要な点を強調するのに役立ちます。つまり、これらのモデルは人間の能力を置き換えるのではなく、能力を増強する際に最も効果的であるということです。」 

コーディングの提案源として、AlphaCodeとChatGPTを比較してみたいと思います。AlphaCodeの評価対象となった競技コーディング演習は、パフォーマンスを客観的に測る指標ではありますが、結果として得られるコードの分かりやすさについては全く言及していません。ChatGPTが生成したソリューションには感銘を受けました。小さなエラーやバグが含まれていることはよくありますが、コードは読みやすく、変更も容易です。これは評価が容易ではありませんが、これらのモデルにとって非常に重要な側面であり、測定方法を見つける必要があります。

「また、GoogleとAlphaCodeの研究チームが論文データセットとエネルギー要件を公開したことを称賛します。ChatGPTもこれに倣うべきです。これらの法学修士課程は、研修と運営に多大な費用がかかるため、既に大規模組織に有利な状況にあります。オープンパブリッシングは、その状況を相殺し、科学的共同研究と更なる評価を促進するのに役立ちます。これは進歩と公平性の両方にとって重要です。」

Science誌に掲載された研究論文「AlphaCodeによる競技レベルのコード生成」の主著者は、Li氏に加え、DeepMind社のDavid Choi氏、Junyoung Chung氏、Nate Kushman氏、Julian Schrittwieser氏、Rémi Leblond氏、Tom Eccles氏、James Keeling氏、Felix Gimeno氏、Agustin Dal Lago氏、Thomas Hubert氏、Peter Choy氏、Cyprien de Masson d'Autume氏です。その他13名の研究者が共著者として名を連ねています。論文のプレプリント版と補足資料はArXivで入手可能です。