本記事では、最新の研究から明らかになったLLMの価値観の分析手法および分析結果について紹介します。これまでLLMの価値観を評価する際には直接質問する方法がとられており限界がありましたが、今回は歴史上の人物に対する説明文の分析という新しいアプローチが採用されています。その結果、LLMの価値観をより正確に理解できる可能性が示され、さらには非常に興味深い分析結果が得られました。
背景
ChatGPTなどLLMベースのAIが私たちの生活に浸透し、テキストの要約や質問への回答など、さまざまな場面で活用されるようになってきました。人々が情報を得る手段として、LLMはもはや重要な存在となっています。
しかし、LLMを開発する過程では多くの人為的な選択がとられています。例えば、どのようなデータで学習させるか、どのように調整するかといった選択です。その中で、LLMの「考え方」や「価値観」が変わってくるのは自明の理です。そのため、完全に中立なAIを作ることは、実は難しい可能性があります。
さらに、LLMの価値観を評価する方法にも課題があります。これまでの研究では、LLMに直接質問して価値観を調べることが一般的でした。しかし、それでは質問の仕方によって答えが大きく変わってしまうという問題があります。そのため、より自然な形でLLMの価値観を理解する方法が求められてきました。
これらの背景を踏まえ、今回研究者らは新しいアプローチを取ることにしました。歴史上の人物についてLLMに説明してもらい、その説明の仕方から価値観を分析するという方法です。この方が、LLMの本来の価値観をより正確に把握できると考えたのです。
以下で手法の詳細と実験結果を紹介します。さまざまなLLMに対して実際に調査が行われており、現在の最新のLLMがどのような傾向を持っているのかを含めとても興味深い内容となっています。
