本記事では、LLMエージェントを安全に開発・運用するための新しい考え方「AgentOps」を紹介します。

大規模言語モデルを使ったAIエージェント（LLMエージェント）はできることが増えるにつれて中身が複雑になり、何をどう処理しているのか把握しづらくなるという問題があります。

そこで研究者たちは、LLMエージェントを作る段階から実際に使う段階まで、きちんと中身を確認できる仕組みが必要だと考えました。そこで既存のツールを調べ、体系化しました。

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

背景

大規模言語モデルを活用したさまざまな応用が生まれています。中でも、「作業を自動化したい」というニーズが高まり、LLMを使って自律的に動作するエージェント（LLMエージェント）の開発が盛んになってきました。しかし複雑な作業に取り組むにあたっては、いくつかの問題が見えてきました。

現在のLLMエージェントは、あまり確認をせずに自動的に判断を下しています。そのため、選べる行動が多すぎたり、様々な形でフィードバックが返ってきたりすると、エージェントが混乱して適切でない行動を取ってしまうことがあります。また、ふだんLLMをシンプルに使用する際には「文章を要約する」といった単純な作業だけを行いますが、LLMエージェントは1つの指示に対してもっと複雑な作業を行う必要があります。そのため、エージェントがどのように判断を下しているのかを理解するのは難しく、問題を修正したりすることも容易ではありません。

また、世界的に言語モデルの管理や規制が重要視される中、法律への対応も必要になってきました。リスクの高いシステムについては、システムが動いている間のすべての記録を自動的に残すことや、システムの動きを後から確認できるようにすることが求められています。

以上のような課題を解決するために、LLMエージェントの開発から実際の運用までの全体を管理する新しい仕組み（DevOpsやMLOpsに似た仕組み）として、「AgentOps」を作ることが必要になっています。開発、評価、テスト、導入、監視といった一連の作業を支援し、エージェントプロジェクトを適切に運用できるようにする考え方です。

今回研究者らはAgentOpsの全体観と既存ツールを整理しました。