LLMを使って文章にスコアをつける際、評価の結果が安定しないと感じたことはないでしょうか。実は、プロンプトのちょっとした違いがスコアに影響を与えることがあります。

本記事では、LLMによるスコア評価にどんなバイアスがあるのかを調べた研究を紹介します。評価を行う際に気をつけたいポイントを知る手がかりとして役立てていただければと思います。

背景

LLMの応用が広がるなかで、「LLMで生成された出力」を”LLMで”評価するという使い方が注目され、さまざまな領域で導入が進んでいます。

もともとLLM生成文章の評価では、文章の表現力や事実性、わかりやすさといった本質的な質を評価しきれない課題がありました。また、スコアの根拠も見えづらいため、改善の手がかりも得られにくい状況が続いていました。

しかしLLMを評価者として使う方法であれば。スコアの付与や順位付けだけでなく、評価の根拠を言語で説明させることも可能です。評価結果に対する解釈もしやすくなります。

ただし気をつけたい点として、LLMによる評価にはさまざまなクセがあることが分かっています。たとえば、自分が出力した文を高く評価してしまったりといった傾向です。こうしたバイアスは評価の一貫性を損なう原因になるため注意しなくてはいけません。

LLMによる評価のバイアスの調査はされてきたものの、まだ「スコアをつける際」のクセについては分析が不十分です。例えば「この文章は何点か評価して」といった指示はよく行われているはずですが、その時のプロンプトの文言や構成の違いが評価にどう影響するのかについては、まだ体系的な調査ができていません。

こうした問題意識から、本記事では、LLMによる評価でスコアを付ける際のバイアスを整理した調査をもとに、評価手法としての安定性や信頼性を再検討する枠組みを紹介します。