AIDB Daily Papers
AIエージェントのデモンストレーション読解法:階層構造がフラットな行動ログを凌駕する
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究では、AIエージェントに指示を与える際、行動ログを階層的なサブゴールに構造化することが、フラットなログよりもタスク達成率を向上させることを実証した。
- この階層構造化は、特に指示が曖昧な場合に有効であり、AIエージェントのプログラミングによる知識獲得(PbD)における重要な設計指針となる。
- 実験の結果、階層化されたデモンストレーションは、曖昧な指示のタスクにおいて、パスレートを76.7%から90.7%に向上させ、サブゴールグルーピング単独の効果であることが示された。
Abstract
Programming by Demonstration (PbD) offers a human-centered way to author procedural knowledge for LLM agents: users communicate what they want by showing rather than by writing prompts or code, making agent authoring accessible to non-programmers. The natural output of a PbD recording is a flat action log, but how this log is organized before being passed to the agent is an open design question with significant consequences for plan quality. We propose grouping recorded actions into labeled, hierarchical subgoals and evaluate the effect of this organizational structure in a controlled experiment. Across 85 web automation tasks, we compare a zero-shot baseline against four demonstration formats that share identical action sequences but differ in structure. On 43 natural-language tasks with vague descriptions, hierarchically grouped demonstrations improve pass rates from 76.7% to 90.7% (paired permutation test $p{=}0.034$; win-loss 6:0), while flat demonstrations show a smaller, non-significant improvement. On 42 tasks with precise descriptions, no format provides any benefit, confirming that the hierarchical advantage arises specifically when descriptions leave procedural details ambiguous. Ablation shows that subgoal grouping alone drives the effect: preconditions, postconditions, and parameter annotations add no measurable benefit. These results offer a concrete design recommendation for PbD pipelines and, more broadly, for any system that feeds procedural context to an LLM agent: segment action sequences into named subgoal groups rather than presenting flat step lists.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: