LLMの誤拒否はいつ起きる　ペルソナ・タスク・プロンプト・モデルの影響

本記事では、LLMが誤ってリクエストを拒否してしまう現象について調べた研究を紹介します。

ペルソナの指定やタスクの内容、プロンプトの書き方、使うモデルによって、ふるまいがどのように変わるのかを整理しています。見過ごされがちなテーマですが、知っておくと便利な内容です。

背景

LLMのやり取りを個人の好みや文脈に合わせる使い方（パーソナライズ）が注目されています。

その実現手段として使われるのが、ペルソナ指示です。たとえば「あなたは外向的で友好的です」といったプロンプトを与え、モデルのふるまいを変える方法です。

このペルソナ指示に、思わぬ問題が報告されています。無害な依頼なのに拒否されてしまう現象です。表面的に危険な内容に似ている、あるいは敏感な話題に触れているという理由で、意図せず拒否されることがあります。ペルソナの性別や人種などの属性によって、同じ依頼でも扱いが変わることがあるのです。

業務でLLMを使う立場からすると、これは無視できない課題です。公平なサービスの提供が難しくなり、信頼性にも関わってきます。

そこで本記事では、こうした誤拒否がどのように起きているのかを詳しく調べた取り組みを紹介します。15種類のペルソナを用いて、モデルやタスク、指示の設計を変えながら、発生のパターンを広く分析しています。