LLMの言語間ギャップは知識不足ではない

Googleの研究者らによると、LLMにどの言語で質問するかで回答の安定性がブレるときでも、「知識自体が言語に依存しているわけではない」そうです。

例えば、英語ではほぼ確実に正解を導き出す質問でも日本語では正解したり誤答になったりする場合があります。
しかし、その際「英語で保存されている知識」と「日本語で保存されている知識」がLLM内部で別々に存在するわけではないということです。
記憶そのものは確かにあるものの、ただ単に言語によって自信の度合いが変化してしまうのです。

研究者らがこの結論にたどり着いたのは、同じ質問を10回繰り返して多数決を取ったり、質問文を複数の言語に翻訳して同時に見せたりする実験をした結果です。

ユーザー目線では、LLMの知識面に期待する質問を投げる場合は、翻訳を併用したり、あるいは何度か回答をさせて数が多い回答を採用する手段をとるのが性能向上に役立つかもしれません。