人間だと「何これ？」と思うようなめちゃくちゃな文章（非自然言語）でも、LLMは意外と理解できることが報告されました。例えば「(alt+eqn={\\>; {};The\\,\\stock baaelkrie@nuier priceungeureau got sich last ‘# GM;;heidisation Inc. weekestig %}20% durch’)」というようなカオスな文章を与えても、LLMは「GM社の株価は先週20%変動した」と解読できるそうです。
（※実際に試しましたが、確かにこのように解読されました）
さらに面白いことに、こうした「めちゃくちゃな文章」でモデルを訓練しても、通常の文章で訓練した場合と同じくらい優秀に育つことがわかりました。
LLMが言語を処理する際、私たちが思っているよりも柔軟で、本質的な意味を捉える能力があることを示唆しています。
研究チームはシンガポール国立大学、カーネギーメロン大学、プリンストン大学、Google DeepMindに所属。
なお、この研究者らは、このような「人間にとっては理解が困難だがLLMにとっては自然言語と意味的に同等な文章」を作り出す方法を発見したとのことです。
