LLMの回答精度が質問の言語によってばらつく問題への対応策

本記事では、LLMの多言語対応における精度のばらつきに関する調査を取り上げます。

ChatGPTやGeminiなどのLLMは多言語に対応していますが、同じ質問でも言語によって正解率が変わる「クロスリンガルギャップ」が問題になっています。

本記事では、この現象の原因に迫り、実務での対応方法を見ていきます。

背景

LLMは、英語だけでなく、日本語や中国語、スペイン語など、多くの言語に対応しているのが特徴です。中には100以上の言語で動くモデルもあります。

一見すると単純に便利に思えますが、じつは見逃せない問題があります。同じ質問でも、どの言語で聞くかによって、正しく答えられるかどうかが変わってしまうのです。

もともと情報が書かれている言語と、質問に使う言語が違うと、答えの正しさに差が出ることがあります。この現象は「クロスリンガルギャップ」と呼ばれています。

なぜこんなことが起きるのでしょうか。よく言われてきたのは、「同じ意味の表現でも、言語によってモデルの中で別のものとして扱われているから」という説明です。英語の情報が圧倒的に多く、他の言語のデータが少ないことで、知識がバラバラになってしまっているという指摘もあります。

こうした言語による差は、ビジネスの現場でも無視できません。たとえば、世界中の顧客に対応するカスタマーサポートや、多言語での市場分析などでは、LLMの回答が言語によってブレると困ってしまいます。

今回の記事では、新たな視点からこの問題をとらえ直そうとしていきます。