楽天、産総研、東京大学の研究者らは、LLMが「色」の概念をどれほど理解しているかを分析しました。
結論としては、色同士の比較への理解に優れているとのことです。一方で、色と言葉の対応はまだ部分的にしか分かっていないようです。
本研究はAIにおけるグラウンディング（世界をどのように言葉で捉えられるか）の研究の一種です。
@ Pablo Loyola et al., “Perceptual Structure in the Absence of Grounding for LLMs: The Impact of Abstractedness and Subjectivity in Color Language”
論文によると、色彩は非常に主観的なもので、LLMが微妙な違いを理解するのは難しいだろうと考えられてきました。
しかし、今後の展開を考えると、色を精密に捉える能力は重要です。
そこで研究者らは、現時点でLLMが「色」に対してどれほど妥当性のある感覚を持っているのかを調べました。
■研究デザイン
① 色の大規模データセット「ColorNames」を使用
（色とそれに対する説明のデータ群）
② 実験対象は複数のLLM（※BERT、Roberta、T5）
③ 色に関する説明と、それを比較するための形容詞（「より暗い」「より鮮やかな」など）の関係をLLMで分析する
④ LLMが色に対する説明文（「深い青」と「明るい赤」など）の比較をどの程度正確に理解しているかを分析する
■調査結果
① LLMは、色の知覚と言葉の対応関係を部分的にしか捉えられていない
② 色彩の説明における主観性や抽象度が高くなると理解がさらに低下する
③ 「より鮮やか」など色間の比較は理解できる
④ しかしイメージに変換するのはまだ難しい
今後の研究では、LLMが色彩をより深く理解するにはどうしたらいいのか？という点が掘り下げられていく予定とのことです。
