企業実務タスクにおけるLLMエージェントの能力を評価する方法

本記事では、企業のデジタル業務におけるLLMエージェントの実用性を評価する研究を紹介します。

LLMの急速な進歩により業務の自動化可能性が議論される一方で、その実力を客観的に評価するベンチマークが不足しています。そこでカーネギーメロン大学などの研究グループは仮想的なソフトウェア企業での実務タスクを通じて、現在のLLMエージェントの能力と限界を明らかにするプロジェクトを始めました。

背景

職場の生産性向上に向けてLLMが重要な役割を果たすことが期待されています。日常業務において、LLMエージェント（LLMベースのエージェント）が多くのタスクを自動化できる可能性が指摘されています。

LLMの可能性については楽観的な見方と懐疑的な見方が存在します。楽観論者は今後数年で人間の労働の多くが自動化されると予測しており、一方で懐疑論者はLLMの推論能力や汎化能力に限界があると指摘しています。

見方が分かれる背景には、職場のタスクにおけるLLMの実力を客観的に評価するベンチマークが不足している状況があります。

またLLMを実務に適用する流れには、生活の質向上や科学的発見の加速といったプラスの側面と、雇用喪失や格差拡大といったマイナスの側面の両方が予想されるため、その実力を正確に把握することが重要です。

そこで今回研究チームは、LLMエージェントの職場タスク実行能力を評価するベンチマークを開発しました。シミュレートされたソフトウェア開発会社の環境で、エージェントはソフトウェア開発、プロジェクト管理、財務分析などの実際の業務に近いタスクに取り組みます。

実験では7種類のLLMを用いて評価が行われました。以下で詳しく紹介します。