本記事では、大規模言語モデル（LLM）と人間の適切な協働関係を探求している研究を紹介します。
LLMは膨大な知識を持ち、自然言語でユーザーとコミュニケーションを取る能力を備えていますが、ユーザーがその出力に過度に依存したり、逆に有益な助言を見逃したりするという課題が指摘されています。
発表者情報
- 研究者：Jessica Y. Bo et al.
- 研究機関：To Rely or Not to Rely? Evaluating Interventions for Appropriate Reliance on Large Language Models
背景
LLMの発展により、人間の意思決定プロセスにおけるLLMの役割は日々重要度を増しています。LLMは膨大な知識を持ち、自然言語でユーザーとコミュニケーションを取る能力を備えています。意思決定の質と効率を向上させる可能性を秘めているものの、LLMが誤った情報を自信に満ちた口調で提示した場合、ユーザーは過度に依存してしまう危険性が指摘されています。一方で、LLMに対する不信感から有益な助言を見逃してしまうケースも報告されています。
「適切な依存」は、技術開発の長い歴史の中で常に議論されてきた課題でした。LLMに対する適切な依存とは、「LLMが正しい場合はその助言に従い、誤りがある場合は自身の判断に従う」状態を指します。依存度に影響を与える要因としては、ユーザーの専門知識レベル、タスクへの認知的関与度、LLMが提示する情報の性質などが挙げられます。
最近の研究では、ライティング、コミュニケーション、コーディング、教育など、様々な分野におけるLLMの活用可能性が探究されています。多くの場合、人間とLLMがチームとして協力することで、個別に作業する場合よりも優れた成果を上げられることが明らかになっています。
同時に、研究者らはLLMの透明性を高め、その能力や信頼性をユーザーに適切に伝える方法を模索してきました。例えば不確実性のハイライト表示や、対照的な説明の提示、信頼スコアの導入など、様々なアプローチが試みられています。しかし、複雑な手法は、ユーザーにとって認知的負担が大きすぎるという課題も存在します。
そのような状況の中、研究者らは以下の3つの異なるアプローチを用いて、LLMとの適切な関わりを促す研究に取り組みました。
