AIDB Daily Papers
PolicyBank:LLMエージェントのポリシー理解を進化させる
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- LLMエージェントが組織のポリシーを理解する際の曖昧さやギャップを解消する手法を提案した。
- ポリシーを不変の真実とせず、対話とフィードバックを通じてエージェントが自律的に理解を洗練させる点が重要である。
- 提案手法により、ポリシーギャップの82%を人間レベルの理解に近づけることに成功した。
Abstract
LLM agents operating under organizational policies must comply with authorization constraints typically specified in natural language. In practice, such specifications inevitably contain ambiguities and logical or semantic gaps that cause the agent's behavior to systematically diverge from the true requirements. We ask: by letting an agent evolve its policy understanding through interaction and corrective feedback from pre-deployment testing, can it autonomously refine its interpretation to close specification gaps? We propose PolicyBank, a memory mechanism that maintains structured, tool-level policy insights and iteratively refines them -- unlike existing memory mechanisms that treat the policy as immutable ground truth, reinforcing "compliant but wrong" behaviors. We also contribute a systematic testbed by extending a popular tool-calling benchmark with controlled policy gaps that isolate alignment failures from execution failures. While existing memory mechanisms achieve near-zero success on policy-gap scenarios, PolicyBank closes up to 82% of the gap toward a human oracle.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: