研究者らは、LLMの内部表現を調べる新しいフレームワークを開発しました。LLMの内部表現とは、モデルがテキストを処理する際に内部的に生成する、ある種のデータやパターンのことを指します。
今回、LLM自身によって内部の動作を説明させることに取り組まれており、モデルの決定や出力がどのように行われているかがより明らかになることを目指しています。
LLMの内部表現とは何か
LLMに限らず機械学習モデルを理解してコントロールする上で、モデルの内部表現にどんな情報が含まれているのか知るのはとても重要です。
内部表現とは、モデルが入力データ（例えばテキスト）を受け取ったときに、そのデータを解析し理解するために内部で生成されるデータの表現です。表現はモデルの各層で異なる形式を持ち、最終的な出力（例えば文章生成など）に至るまでのプロセスに密接に関わります。内部表現は隠れた表現という言い方もできます。
これまで、内部表現を理解するための研究はたくさん行われてきました。しかし、スケールの限界や精度の悪さ、表現力の不足などが問題となり、なかなか実用的なアプローチとは言えるものはなかったと言われています。
そこでGoogleの研究者らは、LLMならば自分自身の内部表現を人間のために「翻訳」することが可能であると考えました。LLMがテキストを生成する高度な能力を持つことを利用しての発想です。
以下では手法の方法論と実験結果を見ていきます。
