LLMは人間の言葉を理解し、自然な対話ができるまでに能力が向上してきました。人間の言葉がわかるだけでなく、LLMにしか理解できない言葉というのも存在するのでしょうか？今回AWSとStanford大学の研究者らは、人間にはまるでデタラメに見える文字列を使ってモデルを操作する方法を検証しました。
参照論文情報
- タイトル：Talking Nonsense: Probing Large Language Models’ Understanding of Adversarial Gibberish Inputs
- 著者：Valeriia Cherepanova, James Zou
- 所属：AWS, Stanford University
背景
「LLMは、人間にとって理解できない言葉で話しかけられても、理解できるのか？」
そんな疑問を抱いた研究者らは、LLMに意味不明な入力を与えたときの振る舞いを調べ、その根底にあるメカニズムを解明しようとしています。グリーディ座標勾配最適化（最適なプロンプトを自動的に探索するアルゴリズム）を用いて、一見するとでたらめな文字列なのにLLMに一貫した応答をさせるプロンプトを作り出しました。
本手法は「LM Babel」と名付けられ、LM Babelに操作されたLLMの振る舞いが体系的に調べられました。この研究は、LLMと対話するための新しい言語について理解を深めるもので、LLMの内部動作を解明する上で重要な知見が得られています。
