本記事では、LLMが人工言語を学習・使用する過程で言語構造がどのように創発するかを調査した研究を紹介します。

人間の言語は歴史的に学習と使用の繰り返しによって自然と構造化されてきましたが、LLMが言語を進化させる過程でも同様の現象が起きるのかという問いが研究の出発点となっています。

研究者らは「LLMの持つ暗黙的なバイアス」が言語構造の形成にどう影響するか、また、その結果生まれる構造が人間の言語とどのような共通点や相違点を持つのかを明らかにすることを目指しました。

背景

人間の言語は学習と使用を繰り返す過程で自然と構造化され、歴史的に効率的なコミュニケーションを実現してきました。また、われわれ人間は言語を習得し使用する中で特定のバイアスを形成し、そのバイアスが言語システムをより効果的なものへと導いてきた歴史があります。

そんな中、昨今のLLMは人間のような言語能力を習得し、道徳的判断や行動パターンを示すことが明らかになり、さらには人間の文化形成にも影響を及ぼす可能性が指摘されています。しかし重要な課題も浮かび上がってきています。LLMが生成するコンテンツには、時間の経過とともに人間ではなくモデル自身が理解しやすい形に最適化されていく「モデルの崩壊」という現象が確認されています。言語進化の観点からは、言語が学習方法や使用方法に適応していくのは自然なプロセスと言えますが、現代社会においては人間とモデルの双方にとって理解しやすい言語の発展が不可欠となっています。

また、最近の研究ではLLMが人間と同様に、不自然な語順や階層構造を欠く言語の学習に苦心することが判明しています。LLMの言語処理メカニズムは人間とは異なるものの、構造化された言語に対する選好性において人間との共通点が見出されています。

このような科学的・社会的背景の中で、今回研究者らはLLMが人工言語を学習・使用する過程で人間の言語と同様の構造が創発するかどうかを探究することに取り組みました。彼らは「人工言語が”LLMの持つ暗黙的なバイアス”によって最適化された場合にどのような言語構造が生まれるのか」、また「その構造が人間の言語とどのような共通点や相違点を持つのか」を明らかにすることを目指し実験を行いました。