AIエージェントに「大量のスキル」を渡しても逆効果。タスクと知識と検索が”かみ合う”スキルを少量備えよ

AIエージェントに複雑な仕事を任せる動きが広がるなかで、足りない知識を外部から補おうという発想が一般的になってきました。作業の手順やコツを決まった形式でまとめた「スキル」と呼ばれる部品を大量に用意しておき、必要なときに検索してエージェントに渡す、という考え方です。AIDBではおなじみのテーマ「スキルについて」ですが、皆様どれほど活用されていますか？

22万件を超えるスキルを集めた大規模なライブラリを実際にエージェントに渡して検証した調査では、多くの場面で成績は上がらず、下がる場合すらあったという結果が報告されました。無関係なダミー文章を渡したときと、統計的に区別がつかなかったのです。なぜそんなことが起きるのでしょうか？

スキルはいつ役に立ち、いつ無駄になるのでしょうか。そして、必要な答えがライブラリの中に確かに存在していても正答率がゼロのままだった、という不思議な現象も報告されています。ここには、RAGやエージェント基盤を設計するうえで見落としやすい落とし穴が隠れています。ぜひご一読ください。