本記事では、LLMの理解と制御に向けて新たな語彙を導入する研究を紹介します。

人間の言葉だけでモデル内部を説明しようとすると、両者の概念がずれてしまい、誤解や使いにくさが生じる可能性が高いと指摘されています。

そこで、新たに定義された言葉を使えば人間とLLMの間にある概念の隔たりを解消できると考えられ、取り組みが進められています。

研究者のあいだでは、LLMがまるで人間と同じように振る舞うように見える場合でも、その内部ではまったく異なるかたちで情報が処理されていると考えられています。つまり、LLMは大量のデータから統計的な傾向を学習しているため、あたかも「理解」しているかのように文章を生成できる一方、人間の直感とはかけ離れた内部構造をもつことがあるのです。

人間がすでに使ってきた語彙や概念をそのまま用いてLLMの内部構造や挙動を説明しようとすると、誤解が生じる恐れが指摘されています。たとえば、「真実」や「安全性」といった言葉は、一般的に人間が共有している意味合いを前提として使われます。

しかしLLMの内部表現では、こうした概念が同じようには対応していないかもしれません。外部からの見た目（文章の出来ばえや回答内容）だけを頼りに説明しようとすると、LLMならではの特徴を見落としてしまい、制御や理解が十分に行えない可能性が高まります。

なお、「内部表現」という言葉は、LLMが学習を通じて自分の中に保持している情報の組み合わせや、出力に至るまでのプロセスを指します。人間にとっては日常的な感覚や理屈が通用する領域ではありません。

にもかかわらず、人間の言葉でLLMをとらえようと試みられてきた結果、モデルが示す反応を「嘘をついている」とか「矛盾している」といった形で説明してしまいがちです。つまり、意図や文脈が見えにくいLLM特有の仕組みと、人間の常識に基づく語彙のあいだに大きな隔たりがあるのです。

そのため、今回Google DeepMindの研究者らは新たに独自の語彙を定義し、LLMの内部表現や振る舞いをより正確に言い表そうとしています。従来の言葉だけではうまく説明しきれないため、LLMの学習プロセスで何が起きているのかを把握するうえで、まったく新しい概念を導入する試みです。

たとえば、モデルが特定のパターンを検出・強調するプロセスを示す用語や、文章生成の際に用いられる重みづけの仕組みを説明する言葉が考案されつつあります。つまり、人間とLLMのあいだにある認識のギャップを少しでも埋めるための、わかりやすさと正確さを両立できるような新語の整備というわけです。

ただし、新しい語彙を定義すればただちに問題が解決するわけではありません。モデル内部を直接「見る」ことが難しい現状では、どうしても推測や仮説に頼る部分があるからです。

とはいえ、既存の言葉にしばられるよりは、LLMならではの特徴をより実態に近いかたちで記述できる可能性が高まります。研究者らはこのアプローチを通じて、LLMの制御や理解を深める一助になると期待しています。以下で詳しく紹介します。