LLMの回答における「自信ありげな度合い」と「実際の自信」を一致させるプロンプト手法

本記事では、LLMの回答における「自信ありげな度合い」と「実際の自信」を一致させるプロンプト手法を紹介します。

LLMの活用が広がるなかで、内容に確信がないにもかかわらず断定的な言い回しが使われる問題が指摘されています。

今回取り上げるのは、モデル自身の「気持ち」と「話し方」をうまくそろえるための、工夫されたプロンプト設計です。

背景

LLMが仕事や生活の中で当たり前のように使われはじめる今、そのふるまいをどう信頼すべきかという問いが、あらためて重要になっています。とくに気をつけたいのが、LLMがもっともらしく語りながら実は根拠のない内容を話している場合。しかも、そうした出力に限って自信ありげな言い回しで示されることも少なくありません。

ユーザーとしては、確信めいた表現に説得力を感じてしまい、その情報をうのみにするリスクが生まれます。そのため、LLMの出力が、モデルの内部における自信ときちんと結びついていることが大切になります。

なお、人間にとっては、自身の度合いを数値で示されるよりも「自信がない」「はっきりとは言えない」といった言葉のほうが伝わりやすいとされています。しかしこれまでLLMの出力における自信の度合いを調整するために開発されてきた手法では、言葉のニュアンスがユーザーにどう響くかまで踏み込んだ議論はあまり行われてきませんでした。

こうした背景をふまえ、今回の記事では、LLMの中での不確実性と、それを言語としてどう表すかという関係に着目した、新たなアプローチを紹介します。自身がユーザーとなってLLMと対話する時にも、あるいはLLMベースのチャットボットを設計するときにも参考になりそうな事例です。