次回の更新記事:AIエージェントのトークンコストを4割削る設計(公開予定日:2026年07月27日)
AIDB Daily Papers

AIエージェントのデモンストレーション読解法:階層構造がフラットな行動ログを凌駕する

原題: How Should Agents Read Demonstrations? Hierarchical Structure Beats Flat Action Logs
著者: Honjar Xing, Jefferson Lin, Henry Lieberman
公開日: 2026-06-18 | 分野: LLM cs.AI cs.HC プロンプトエンジニアリング AIエージェント AI支援

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 本研究では、AIエージェントに指示を与える際、行動ログを階層的なサブゴールに構造化することが、フラットなログよりもタスク達成率を向上させることを実証した。
  • この階層構造化は、特に指示が曖昧な場合に有効であり、AIエージェントのプログラミングによる知識獲得(PbD)における重要な設計指針となる。
  • 実験の結果、階層化されたデモンストレーションは、曖昧な指示のタスクにおいて、パスレートを76.7%から90.7%に向上させ、サブゴールグルーピング単独の効果であることが示された。

Abstract

Programming by Demonstration (PbD) offers a human-centered way to author procedural knowledge for LLM agents: users communicate what they want by showing rather than by writing prompts or code, making agent authoring accessible to non-programmers. The natural output of a PbD recording is a flat action log, but how this log is organized before being passed to the agent is an open design question with significant consequences for plan quality. We propose grouping recorded actions into labeled, hierarchical subgoals and evaluate the effect of this organizational structure in a controlled experiment. Across 85 web automation tasks, we compare a zero-shot baseline against four demonstration formats that share identical action sequences but differ in structure. On 43 natural-language tasks with vague descriptions, hierarchically grouped demonstrations improve pass rates from 76.7% to 90.7% (paired permutation test $p{=}0.034$; win-loss 6:0), while flat demonstrations show a smaller, non-significant improvement. On 42 tasks with precise descriptions, no format provides any benefit, confirming that the hierarchical advantage arises specifically when descriptions leave procedural details ambiguous. Ablation shows that subgoal grouping alone drives the effect: preconditions, postconditions, and parameter annotations add no measurable benefit. These results offer a concrete design recommendation for PbD pipelines and, more broadly, for any system that feeds procedural context to an LLM agent: segment action sequences into named subgoal groups rather than presenting flat step lists.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事