LLMの設計仕様と挙動にはギャップがある　モデルが自然に大事にしている価値観を探る

本記事では、LLMの「設計図」と「実際のふるまい」がどうズレているのか調べた取り組みを紹介します。

LLMは、「モデル仕様書」と呼ばれるルールに沿って訓練されています。ところが仕様書には、原則の矛盾や曖昧な部分が多く、同じ質問でもモデルによって答えがバラバラになることがあります。

そこで、設計仕様と挙動のギャップを把握して、さらにモデルの性格ともいえるべき価値観を調査した取り組みを見ていきます。

LLMのユーザーにとって、「なぜモデルの答えが違うのか」を理解しておくことは、より的確にLLMを活用するうえで大切な視点になるはずです。

背景

ChatGPTやClaudeなどのLLMを使っていて、「なんとなく性格が違うな」と感じたことはありませんか？あるモデルは丁寧で慎重、別のモデルはサクッと答えるタイプ。実はこうした印象の違いは、偶然ではありません。

モデルのふるまいは、あらかじめ決められたルールに沿って作られています。「仕様書」と呼ぶべき文書が用意されており、モデルがどう振る舞うべきか、どんな価値観を持つべきかが定められているのです。まず大量のテキストで学び、その後こうしたルールに沿って調整されることで、モデルの「性格」が作られます。

ルールの中身には、抽象的な原則と具体的な行動指針の両方が含まれています。たとえば「ユーザーに親切であること」といった姿勢の話から、「違法な行為は手助けしない」といった具体的な禁止項目までさまざまです。

ただし、この仕組みには「ルール同士が矛盾する」「想定外のケースには対応できない」などの問題があります。

そこで今回、そうしたルール設計の問題点を明らかにしようとした取り組みを紹介します。ルールがあいまいだったり不十分だったりすれば、モデルごとにバラバラの答えになるはずだ、という前提で分析が行われました。