LLMが長々と説明するときは自信がない傾向にある　14個のモデルで検証

本記事では、LLMが「答えに自信がない時ほど言葉を重ねてしまう」という興味深い現象について、最新の研究成果を紹介します。

人間にも見られる特徴でありながらLLMの性能や効率性に大きな影響を与えていることが明らかになってきました。

ペンシルベニア州立大学の研究チームは、14の最新LLMを対象に包括的な分析を行い、この現象の本質に迫りました。

背景

LLMには、人間と同様に、答えに自信が持てない時ほど必要以上に言葉を重ねて説明してしまう傾向があることが観察されています。このような冗長な回答は、ユーザーの理解を妨げ、効率を下げる原因となっています。また、不要な単語を余分に生成することで、LLMサービスの応答時間が長くなったりコストが増加したりする問題も引き起こしています。

これまでには、LLMの生成する文章の冗長さに着目した研究や、LLMが不確実な状況でどのように振る舞うかについての研究、強化学習を使ってLLMの応答の長さを最適化する研究などが行われてきました。また、LLMの不確実性を数値化する手法や、複数のLLMを効率よく使い分ける方法についても研究が進められてきました。

しかし、LLMのこの「答えに自信がない時ほど言葉を重ねてしまう」という現象そのものを定義し、なぜそうなるのかを探り、改善する方法を提案した研究はこれまでありませんでした。そこで今回ペンシルバニア州立大学の研究者らは、この現象を「簡潔に書くよう指示されているにもかかわらず、情報を失うことなく短く書き直せるような回答を生成してしまう行動」と定義し、調査することにしました。

研究者らは既存の長文質問応答データセットと推論ベースの言語理解データセットを組み合わせて新しい評価基準を作成し、14の最新のLLMについて詳しい分析を実施しました。その結果、さまざまな興味深い事実が浮かび上がってきました。