特定の高難易度タスクにおけるLLMエージェントの性能を大幅に向上させる新しい手法SelfGoalが考案されました。最終目標をより実践的なサブゴールのツリー構造に分解し、状況に応じてサブゴールを更新するのが本手法の肝です。

背景

LLMエージェントは、ゲームやプログラミングなどの分野でよく利用されています。タスク固有の学習をすることなく、複雑で難易度の高いタスクを自動的に解決する技術として、注目されてきています。

しかし、LLMエージェントには、「ユーザーからの曖昧な指示に従えない」などの課題があります。例えば、「この勝負に勝ってください」や「お金を稼いでください」といった、抽象的な指示を与えても、エージェントはユーザーの意図を汲み取れず、タスクを遂行できないでしょう。

こうした課題を解決し、難易度の高いタスクを自動でLLMに解かせるために、既存の研究では主に以下の2つのアプローチが提案されてきました。

• LLMの事前知識を利用して、最終タスク目標を細かなサブタスクに分解
• タスクの遂行中に、LLMの事前知識を引っ張り出して有効活用すること

しかし、前者のアプローチだと、環境要因の変化によって、解くべきサブタスクを調整することができず、柔軟性に欠けるという問題が発生します。また、後者のアプローチだと、事前知識から導かれる行動が、そもそも単純で体系的でないため、適切なアクションを起こせないという問題が発生します。

そのため、環境要因の変化に応じて、その都度最適なアプローチを模索しながら、柔軟にサブタスクを変更する必要があるのです。

そこで今回研究者らは、最終のタスク目標をツリー構造のサブゴールに分解し、エージェントのおかれた状況に応じて最も有用なサブゴールを特定しながら、ツリーを段階的に更新していく「SelfGoal」という手法を提案しています。

以下では、このSelfGoalについて詳しく解説します。