Googleの研究者らにより、LLMに自分自身の内部動作を説明させる手法『Patchscopes（パッチスコープ）』が報告されています。
人間が理解できる言葉でLLMの行動指針や価値観を知ることができるフレームワークとのことです。
“Patchscopes: A Unifying Framework for Inspecting Hidden Representations of Language Models”より
以下は論文内容の抜粋です。
■研究背景
– LLMがどう動いているのかを理解したい
– データ処理方法を表現する「隠れ層」がある
– これまでは解釈に限界があった
■『Patchscopes』の仕組み
1. ある推論における隠れた表現を取り出す
2. 別の推論パスに「パッチ」する
3. LLMが隠れた表現を説明する
■本手法の実用展望
1. CoTなどによる多段階推論と組み合わせる
2. LLMが自分自身で出力を見直して修正する
→パフォーマンスを向上させることに繋がる
