AIに作らせたスキルは役立つのか、複数方式の検証でわかった現実

エージェントにスキルを持たせる運用が広がっています。作業手順をSKILL.mdにまとめて渡しておけば、毎回ゼロから試行錯誤させるより安定して動きます。この形式を日々の業務に組み込んでいるチームも増えてきました。

そうなると次は、スキルを書く作業そのものを自動化したくなります。社内のリポジトリや分厚いマニュアルをAIに読み込ませ、手順書を抽出させてみたとします。出てきたスキルは見出しが整い、参考資料も添えられており、一見すると申し分ありません。ところが、それをエージェントに渡して動かしてみると、成功率が思ったほど上がりません。それどころか、スキルなしで動かしたときより成績が下がる場面さえあります。

見た目が整ったスキルと、実際に機能するスキルのあいだには、想像以上の距離があるようです。本記事では、スキルの自動生成を正面から測定した検証をもとに、生成スキルが役立つ条件と壊れ方のパターンを紹介します。