AIDB Daily Papers
自律型エージェントシステムの実践的監督:ソフトウェアエージェントを利用する開発者の監督作業、課題、ヒューリスティクスを調査
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究は、自律型ソフトウェアエージェントの開発者による監督作業の実態を、17人の開発者へのインタビューを通じて探求した。
- 既存研究が概念的であるのに対し、本研究は予防的・能動的な監督作業の形態を特定し、その重要性を実証的に示した。
- 開発者はコードレビューの困難さなどの課題に直面しつつ、テスト結果を保証として利用するなどのヒューリスティクスを開発していることが明らかになった。
Abstract
Autonomous software agents hold promise to increase developer productivity but make mistakes and exhibit novel failure modes, making human oversight central to successful human-agent collaboration. Existing research on agent oversight is largely conceptual; normative frameworks exist, but how users actually oversee agents is less known. In this paper, we bridge this gap by providing early empirical anchors for the theoretical discourse on agent oversight. Drawing on interviews with 17 experienced developers, we conduct an exploratory inquiry examining what forms of emergent oversight work developers perform, when, and how. We also document the oversight challenges developers face and the strategies they have started using to address them. We found at least four forms of emergent oversight work: a priori control, co-planning, real-time monitoring, and post hoc review. We show that oversight work is not only reactive and retrospective, as portrayed in existing research, but also preventative and proactive. We describe situated oversight challenges (e.g., difficulty reviewing agent-generated code) and outline heuristics developers adopt to address such challenges (e.g., using test results as guarantees for code correctness). We conclude with high-level takeaways, future research directions, implications for the human-centered design of software agents and for software engineering practice, and limitations of our research.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: