本記事では、LLMを専門分野の翻訳にうまく適応させるための最新の研究成果を紹介します。

一般的な内容の翻訳では高い能力を発揮するLLMですが、専門性が求められる場面では課題が残ります。こうした背景から、翻訳精度を簡便に改善する新しい工夫が検証されています。

背景

LLMが翻訳に使われる場面が増えてきています。しかし専門的な分野では、正しい専門用語を使ったり、その分野特有の表現に合わせたりするのが苦手だという問題があります。

専門分野の翻訳精度を高めるためには、通常、多くの専門データを集めて追加学習させる必要があります。この追加学習には、多大な時間や費用がかかります。

そこで、より手軽に専門的な翻訳ができるようにするため、「いくつかの翻訳例や専門用語をモデルに示す」ことで翻訳精度を改善する方法が注目されています。この方法は実際の利用場面でも便利ですが、そのためには翻訳例や専門用語を事前に準備しておかなければなりません。また、信頼できる専門用語集や質の高い翻訳例を作成し、それらを維持管理する負担も生じます。そのため、十分なデータが手に入らない分野では、こうした方法を利用することが難しくなります。

こうした課題を解決するために、外部で用意された専門用語や翻訳例を使うのではなく、LLM自身が事前に学習した膨大な知識の中から専門的な情報を自動的に引き出して活用するという、さらに新しい方法が考案されました。この方法を用いれば、事前に専門用語集や翻訳例を準備する必要がなくなるため、幅広い分野や企業が、専門分野の翻訳品質を手軽に改善できる可能性があります。
ただし、LLM自身が生成した専門知識が、外部から提供された専門知識に比べて実際にどれほど効果があるのかについては、まだ十分に検証されていません。

また、専門知識をモデルに示す方法には、「専門用語集を示す方法」と「翻訳例を示す方法」の二種類がありますが、どちらの方法がより効果的なのかという点も、まだ明確にはなっていません。翻訳例を示した場合、モデルは専門分野にふさわしい自然な表現や言い回しを学ぶことができます。一方で専門用語集を示した場合、モデルは特定の専門用語を正確に訳すことに集中します。この二つの方法の違いや、それぞれのメリットをきちんと理解する必要があります。

このような背景の中、今回ペンシルバニア大学とGoogleの研究者らは、「外部から提供された専門知識を利用する翻訳」と、「モデル自身が持つ知識を自動的に生成して利用する翻訳」の二つを比較しました。また、それぞれの知識を提供する形式についても、「専門用語集」と「翻訳例」の二種類を試し、専門分野において翻訳の質を最も効率的に高める方法を明らかにすることに取り組みました。

以下で詳しく紹介します。専門分野でも違和感なく自然な翻訳ができるLLMに関心のある方は、ぜひ一読してみてください。