社内の定型作業を、AIエージェントに任せたい。そう考えても、手順をプロンプトで細かく書き起こすのは骨が折れます。
そこで今広がっているのが、自分で一度やってみせて、その操作記録をAIエージェントに渡す方法です。クリックやキー入力を記録しておけば、コードを書かなくても手順を教えられます。
興味深いのは、ここからです。まったく同じ操作を記録しても、エージェントに渡す前にどう整えるかで、作業の成功率が変わることが報告されています。
なぜ、整え方だけで成績が動くのか。そして、その差はどんなときに生まれるのか。本記事では、AIエージェントに手順を渡すときの「まとめ方」がもたらす影響を紹介します。
AIエージェントのデモンストレーション読解法：階層構造がフラットな行動ログを凌駕する
How Should Agents Read Demonstrations? Hierarchical Structure Beats Flat Action Logs
本研究は、プログラミング・バイ・デモンストレーション（PbD）において、記録された操作ログを階層的なサブゴール構造に整理することが、LLMエージェントのタスク遂行能力に与える影響を検証したものである。実験の結果、曖昧な指示を含むタスクにおいて、階層化されたデモンストレーションはフラットなログ形式よりも高い成功率を達成することが示された。この知見は、LLMエージェントへの手続き的コンテキスト提供における設計指針となる。
| 著者 | Honjar Xing, Jefferson Lin, Henry Lieberman |
|---|---|
| URL | https://arxiv.org/abs/2606.20978 |
同じ内容でも、見せ方でAIの成績は変わる
AIエージェントに手順を教える方法は、大きく二つあります。
ひとつは、言葉で指示を書く方法です。もうひとつは、実際にやってみせる方法です。後者は「実演による手順教示」とも呼ばれます。操作を記録するだけでよいため、プログラミングの知識がなくても使えます。
やりたいことは頭にあるのに、言葉ではうまく説明できない。そうした作業ほど、実演で教える方法が向いています。
実演を記録してAIエージェントに渡す仕組みは、すでにいくつも登場しています。記録をグラフ状のワークフローに変換するもの、過去の作業履歴から再利用できる手順を取り出すもの、少数の実演から新しいサイトに適応させるものなどです。
これらの研究では、「何を見せるか」や「どれだけ見せるか」が工夫されてきました。一方で、まったく同じ記録を「どんな形に整えて渡すか」は、あまり検証されてきませんでした。
形式が成績を左右するという証拠は、別の研究からも出ています。中身がまったく同じ情報でも、プレーンテキスト、Markdown、JSON、YAMLのどれで見せるかによって、正答率が最大で40ポイントも変わったという報告があります。お手本の並べ方が、その正しさ以上にモデルの挙動を左右したという結果も知られています。
見せる中身が同じでも、見せ方しだいでAIの答えは変わります。だとすれば、実演の操作記録も、並べ方によって結果が変わるはずだという見立てが成り立ちます。
85のタスクで、5通りの見せ方を比べた
検証の舞台は、ブラウザ上でプレゼン資料を編集する作業です。合計85のタスクを、性質の違う二種類に分けて用意しました。
ひとつは、「もっと見栄えよくして」「最後にQ&Aのスライドを足して」といった、曖昧な指示のタスクです。こちらは43件ありました。
もうひとつは、やるべきことが具体的に決まっているタスクです。こちらは42件です。
同じ操作記録を5通りの形式に整え、それぞれの形式でエージェントに作業を実行させました。生成された操作は実際のアプリに対して実行し、完了後の状態を機械的に照合して成否を判定しています。
1タスクにつき3回ずつ実行し、全体では1,275回の実行が行われました。使われたモデルはClaude Sonnet 4です。
意味のまとまりで区切ると、曖昧な指示での成功率が上がった
まず、曖昧な指示のタスクでの結果を見ます。5通りの形式と、それぞれの成功率は次の通りです。
| 見せ方 | どう整えたか | 成功率 | 説明のみとの差 |
|---|---|---|---|
| 説明のみ | 実演を渡さない | 76.7% | 基準 |
| フラットなリスト | 操作を番号順に並べる | 86.0% | +9.3pt |
| 種類タグ付きリスト | 各操作に種類の札を付ける | 86.0% | +9.3pt |
| まとまりで区切る | 意味の固まりに見出しを付ける | 90.7% | +14.0pt |
| 区切り＋詳細注釈 | 前提や事後の状態も書き添える | 90.7% | +14.0pt |
ここから読み取れる動きは、二段階あります。
まず、実演を渡さない「説明のみ」から、番号順のフラットなリストを渡す形に変えると、成功率は76.7%から86.0%へ上がりました。これは、手順そのものを与えた効果です。
さらに、同じ手順を意味のまとまりで区切り、見出しを付けると、成功率は90.7%まで上がりました。中身を増やしたのではなく、並べ方を整えたことで生まれた上乗せです。
注目したいのは、区切った形式に切り替えて成績が動いた6つのタスクが、すべて改善側に振れた点です。悪化したものはありませんでした。この差は偶然の揺らぎでは説明しにくく、統計的な検定でも意味のある差とされています。
つまり、手順を意味のまとまりで区切ることには、少なくともこの検証範囲では、成績を下げる危険がほとんど見られませんでした。
やることは「操作を消さず・足さず・並べ替えず、意味の切れ目でグループにして、各グループに動詞の見出しを付ける」。これだけです。凝った構造化スキーマを設計する必要がありません。
論文をもとに作成したプロンプトテンプレートを共有します。
# 操作ログを意味のまとまりに整理する
画面操作の生ログ（クリック・キー入力など）を受け取り、
AIエージェントが手順として読み取りやすい形に整理する。
## ルール
1. 元の操作は消さない・足さない・並べ替えない。すべて元の順序のまま残す。
2. 意味の切れ目でグループに分ける。目安は次の三つ。
- 別の場所へ移動したとき（新しい領域のクリック、ページやタブの切り替え）
- 移動・選択から入力へ、または入力から移動へと、操作の種類が変わったとき
- 連続するキー入力がひとつのまとまった操作になっているとき
（メニュー検索の一連の打鍵など）は、ひとつのグループにまとめる
3. 各グループに、そのまとまりが何をするかを表す短い見出しを付ける。
動詞から始める（例「タイトルを選択」「テキストボックスを開く」「本文を入力」）。
4. 前提条件・事後条件・パラメータ注釈は付けない（付けても効果がないと確認済み）。
## 出力フォーマット
目的: <この手順が達成すること・1行>
1. <見出し>
- <操作>
- <操作>
2. <見出し>
- <操作>
## 入力
<ここに生ログを貼る>
なぜ、区切るだけで差が生まれるのか
理由のひとつは、複数の細かい操作が、本来はひとつの動作として扱われるべき場面があるからです。
たとえば、「テキストボックスを開く」という動作が、内部では4回のキー入力の連続だったとします。フラットなリストでは、それがバラバラな4つの手順に見えてしまいます。すると、エージェントは一連の操作だと気づけず、手順を取り違えたり、順番を崩したりします。
一方、見出しを付けて束ねておけば、そこがひとまとまりの動作だと読み取りやすくなります。
もうひとつは、作業の局面が混ざるのを防げることです。
タイトルへの操作とサブタイトルへの操作が、同じ高さでバラバラに並んでいると、エージェントは両者を混同することがあります。実際、この形の指示では取り違えが起きました。
まとまりで区切り、それぞれを別の局面として示すと、この混同が消えます。区切りは、どこまでがひと固まりの作業なのかを示す境界線として働きます。
指示が具体的なら、どの見せ方でも成績は変わらない
一方で、やるべきことが具体的に決まっているタスクでは、結果が大きく変わりませんでした。
42件の具体的なタスクでは、どの形式でも成功率は85.7%から88.1%の範囲に収まりました。実演を渡しても、ほとんど差は出ていません。
指示そのものに手順が十分に書き込まれていれば、エージェントは自力で正しい段取りを組めます。その場合、実演のまとめ方が成績を大きく押し上げる余地は小さくなります。
区切りが結果を変えるのは、指示が曖昧で、手順の詳細が抜け落ちている場面です。そして、実演がいちばん頼りになるのも、まさにそういう場面です。
差を生んだのは区切りそのもので、注釈ではなかった
興味深いのは、区切りに情報を足しても、それ以上は成功率が伸びなかった点です。
各まとまりに「始める前の状態」「終わった後の状態」やパラメータの注釈を書き添えても、成功率は区切っただけの形式と同じ90.7%のままでした。
反対に、区切らずに各操作へ種類の札だけを付けても、番号順のフラットなリストと同じ86.0%にとどまりました。
つまり、差を生んでいたのは、手の込んだ注釈ではありません。意味のまとまりで区切り、そこに名前を付けることでした。
この結果は、実演の操作記録だけに限られません。手順のお手本、作業マニュアル、参考例など、AIエージェントに段取りを渡す場面全般に当てはまります。コードを書かせる前に資料を読ませるエージェントでも、同じ問題が起こります。
渡す前に、意味のまとまりで区切って名前を付ける。これだけで、フラットな一覧のまま渡すより、エージェントが手順を読み取りやすくなります。
しかも、この区切りは、操作の切れ目や時間の間隔といった手がかりから機械的に作れます。凝った作り込みをしなくても、大半の効果を取り出せる可能性があります。
まとめ
AIエージェントに実演で手順を教えるとき、操作記録をそのままフラットに渡すより、意味のまとまりで区切って名前を付けたほうが、曖昧な指示のタスクでは成功率が上がりました。
この検証では、成功率は76.7%から90.7%へ改善しました。成績が動いたタスクの中で、悪化したものはありませんでした。また、区切りに細かい注釈を足しても上乗せはなく、結果を変えていたのは区切りそのものでした。
ただし、この検証はひとつのモデル、Claude Sonnet 4と、ひとつの作業領域で確かめられたものです。別のモデルや別のアプリでは、形式への反応が変わる可能性があります。
それでも、区切って名前を付けるだけなら、導入の負担は小さい方法です。AIエージェントに手順を渡すときは、まずフラットな一覧のまま渡さず、意味のまとまりごとに見出しを付ける。これは、初期設定として試す価値のある工夫です。
本記事の関連研究
