100万ドル分のソフトウェアエンジニアリングタスクで最先端のLLMを検証　40%まで達成

LLMがめざましく高度化しているにもかかわらず、従来の評価基準では、実務や多面的な課題を十分に網羅できていない可能性が指摘されています。

そこで研究者らは、クラウドソーシングプラットフォームUpworkで掲載された案件に基づいたタスクで、LLMがもたらす経済的価値とソフトウェア品質を同時に検証しました。

背景

ソフトウェア開発の世界では、高度な自然言語処理が目覚ましい勢いで進化してきました。なかでもLLMは、大量のテキストデータを学習してパターンを見いだす仕組みが備わり、わずか数年のうちに大掛かりなプログラム開発にも対応できる実力を示すようになりました。

以前は簡単なコード片を生成する程度だった段階から、大規模なシステム開発や柔軟な要件対応まで視野に入るほどの能力が報告されています。

LLMの進化は目覚ましいものの、これまでに作成されたコード能力評価手法は限られたコード断片や競技的な問題が中心でした。プログラムとして動作させるうえでの基本機能はチェックされていたのですが、現場のエンジニアリング環境はもっと広範囲で複雑です。

たとえば大規模なコードベース全体を保守するときは、バージョン管理やレビュー体制、複数の開発者との連携などが欠かせません。また、作成するソフトウェアにはユーザーが操作しやすいUIやUXが求められ、設計段階から総合的な観点で品質を確保する必要があります。

業務で用いるソフトウェアは、不具合の修正や機能追加だけでなく、投入した開発コストや経済的価値にも密接に結びついています。作業時間や人件費が限られている現場では、エラー一つが多額の損失につながることもあります。

しかし従来のベンチマークは、単体テストやごく一部の機能評価だけでスコアを算出する場合が多く、商用レベルに近い統合的なテストや報酬額を観点とした測定が行われてきませんでした。さらに、LLMがフリーランス開発者や外注先をどの程度まで置き換えられるのかを評価する仕組みも十分に整っていない状況です。

そこで、LLMの実用可能性をより正確に見極めるため、OpenAIの研究者らは新たなベンチマークを構築し、実証的な検証を進めました。開発現場に近い環境でソフトウェアを動かしながら、単なる動作確認だけでなく費用対効果や開発の進行度も計測しようとしている点が特徴です。

管理業務やUI・UXの設計、さらには不具合の影響範囲といった要素まで視野に入れつつ、LLMが実務をどこまで担えるのかが検討されています。このような取り組みを通して、LLMが商用レベルのソフトウェア開発に活用される可能性を、より具体的に把握できると期待されています。

以下で詳しく紹介します。