本記事では、高度な自律性を持つシステムの安全性と説明責任に関する研究を紹介します。

近年、研究者や企業は、限定的な監督下でも複雑な目標を柔軟に追求できるシステムの開発を進めており、ユーザーの能力を大きく向上させる可能性が期待されています。

一方で、潜在的なリスクや責任の所在といった新たな課題も浮上しており、OpenAIの研究者らは開発者、運用者、ユーザーが従うべきベストプラクティスの確立に向けて取り組んでいます。

背景

LLMを活用したシステムの開発が進展を見せ、アプリケーション開発者らによって実用化が進められています。

人工知能システムは従来、画像生成や質問応答など、限定された機能のみを実行することができました。しかし、最新の開発によって、より複雑な目標を自律的に追求できるシステムが登場しています。たとえば、利用者が「美味しいチョコレートケーキを今夜作りたい」と伝えると、材料を選び、販売店を探し、配送を手配し、レシピを印刷するといった一連の作業を自動的に実行できるようになってきました。

言語モデルを中心に据えたシステムは、複雑な推論を行い、目標を追求する能力を持つようになりました。利用者の意図を理解し、適切なツールを選択して行動を実行できる点で、従来のシステムとは一線を画しています。

一方で、このような自律性を持つシステムは、誤作動やセキュリティの脆弱性、悪用のリスクも併せ持っています。たとえば、日本在住でない利用者がケーキ作りの材料を購入しようとした際に、現地での購入ではなく高額な航空券を購入してしまうといった事態も想定されます。

このような状況において、モデル開発者、システム提供者、利用者それぞれが適切な役割を果たし、責任を分担することが重要になってきました。そこで研究者らはシステムの安全性と信頼性を確保するための実践的なガイドラインの策定に取り組んでいます。

エージェント性とは？定義からおさらい