Googleは12月6日、新しいAIモデル「Gemini」を発表しました。そして同時に、「Gemini」の高い推論能力を活かして大幅にプログラミング能力を向上させたAI「AlphaCode 2」を開発したことも明らかにしました。

AlphaCode 2は、競技プログラミングの参加者の85%以上を上回る性能を実現しています。高度な推論と問題解決能力が要求される分野において、AIが人間の能力に近づいていることを示す技術です。

本記事ではテクニカルレポートをもとにAlphaCode 2の紹介をします。

なお、競技プログラミングではアルゴリズム、データ構造などの知識を極限まで駆使することが求められます。一方で、実務では、プロジェクト管理、チームワーク、保守性といった要素も重視されるため、競技プログラミング能力の水準が実務能力の水準と必ずしも同列ではないかもしれません。

しかし同時に、競技プログラミングで試されるような高い問題解決能力が実社会で役立つ可能性も非常に高く、プロジェクトを成功に導くことに貢献する力にも十分なりえます。

参照論文情報

• タイトル：AlphaCode 2 Technical Report
• 著者：AlphaCode Team
• 所属：Google DeepMind
• URL：https://storage.googleapis.com/deepmind-media/AlphaCode2/AlphaCode2_Tech_Report.pdf
• ブログ：https://blog.google/technology/ai/google-gemini-ai/

本記事の関連研究：GPT-4などLLMのコード生成能力にデバッグ機能を追加する『SELF-DEBUGGING（セルフデバッギング）』と実行プロンプト

研究背景

プログラマーにとって、自身の技術を試す場として親しまれているものの代表例に「競技プログラミング」があります。複雑な問題に対して、限られた時間内に効率的なコードを書くことが求められる競技です。

批判的思考や論理的なアプローチ、アルゴリズムの理解が不可欠であり、ITスキルの総合格闘技のようなものです。高度な推論と問題解決能力を測定する優れたツールとなっており、最近では企業の採用基準や教育プログラムなどにも使用されています。

AIの分野では、競技プログラミングが人間と機械の能力を比較する格好の材料となっています。これまで、AIは人間のパフォーマンスに追いつくのが難しいとされてきました。そんな中、以前、AlphaCode 1が登場し、AIが競技プログラミングで人間の中間レベルに到達しました。AlphaCode 1の成功は、AIが高度な数学やコンピュータサイエンスの問題を解決できる可能性を示す転換点的な出来事でした。

そして先日、Googleは新たに開発したAIモデル「Gemini」の力を有効に活用してパワーアップさせたプログラミングAIとしてAlphaCode 2を発表しました。Geminiは、多様なタスクで優れたパフォーマンスを発揮し、注目を集めているマルチモーダルLLMです。

本記事の関連研究：Googleが「人間の専門家レベルを超える最初のモデル」とする『Gemini』発表、GPT-4を凌駕

AlphaCode 2の特徴

以下が主なポイントになります。

① 競技プログラミングでトップ15%に

AlphaCode 2は、競技プログラミングのプラットフォームCodeforcesで評価されています。12回におよぶコンテスト評価の結果、平均で参加者の上位15%に位置する性能を発揮しました。

AIの進歩が人間のコーダーの中上位層に匹敵するレベルまで初めて到達したことを示しています。

下の図は、本結果を定量的に示すグラフです。

② 複雑な数学や理論的な問題も解決

複雑な数学やコンピュータサイエンスの理論問題にも対応できる能力を備えています。高度な論理的思考とアルゴリズムの理解ができていないと、競技プログラミングの世界で上位に食い込むことは難しいと考えられています。また、競技プログラミングは時間が制限されているため、迅速かつ正確にコードを書く能力も重要です。

③ Gemini AIモデルをベースに進化

前述した通り、AlphaCode 2の進化にはGoogleの先進的なAIモデル「Gemini」が大きく貢献しています。競技プログラミング用に最適化された高度なコード生成と再ランキングが可能になったのは、Geminiの柔軟性と適応性のおかげだとされています。

④ これまでのAlphaCode（AlphaCode 1）に対して、ほぼ2倍の問題を解決

AlphaCode 2は前作であるAlphaCode 1の成果を大きく上回っています。従来のシステムが解決した問題数の約2倍、43%を解決するなど、AIのコーディング能力の大幅な向上が見られます。

本記事の関連研究：多様な役割のAIエージェント達に協力してソフトウェアを開発してもらう『ChatDev』登場。論文内容＆使い方を解説

これまでのAlphaCode（AlphaCode 1）はどうだったか

① 競技プログラミングで中間レベル

AlphaCode 1は、競技プログラミングの分野で中間レベルの性能を実現した初のAIだったと言われています。数学、論理、コンピュータサイエンスに精通した参加者が、限られた時間で複雑な問題を解決することが、AIにも可能であることを示した存在です。Codeforcesにおいて参加者の約50%を上回る位置にいます。

② 基本的な問題を解決可能

AlphaCode 1は、基礎レベル問題への解決能力を有していました。論理的思考とアルゴリズムへの理解を活かし、効果的なコード生成を行うことが可能でしたが、複雑で高度な思考を必要とする課題には一定の限界がありました。

本記事の関連研究：GPT-4、Bard、Claude2などの異なるLLMが円卓を囲み議論した結果の回答は品質が高いとの検証報告。円卓ツールも公開

AlphaCode 2のフレームワーク

フレームワークは以下の通りです。