LLMの知識を狙い撃ちして編集する手法（Knowledge Editing：知識編集）の現状を網羅的にまとめた論文が公開されています。
モデル全体を再学習させることない効率的なアプローチと言われています。
信頼性の向上や、パーソナライズされたエージェントの開発に役立つとのことです。
“A Comprehensive Study of Knowledge Editing for Large Language Models”より
以下は調査報告内容の抜粋です。
■知識編集とは
1. 常識、感情など多岐にわたる情報を編集するもの
2. 挿入/変更/削除を行う
3. 対象以外の知識は保持する
■フェーズは3つ
1. 認識フェーズ：新知識を理解する
2. 結合フェーズ：既存知識と関連づける
3. 習得フェーズ：パラメータに完全に統合する
なお、人間における認知の仕組みからインスパイアされているそうです。
■全体的な手順
1. 編集対象の知識を決める
2. 関連データを収集する
3. モデルを編集する
4. 評価と調整を行う
知識編集を応用するとモデルの信頼性を向上させたり、パーソナライズされたエージェントを作りやすくなったりするとのことです。
なお本調査を行なった研究者らは、知識編集のためのオープンソースフレームワーク「EasyEdit」を開発し公開しています。
