本記事では、プロンプトを活用してLLMに翻訳品質を評価させる手法を取り上げます。

訳文の良し悪しを数値化するだけでなく「なぜその評価に至ったのか」を明文化できる点が特徴です。
複数の観点から評価理由を引き出すことで、従来の自動評価では見えにくかった問題点を可視化します。

実験結果をもとに、実用上のメリットや導入時の注意点も説明します。

背景

英語や外国語の文章を日本語に和訳したい場面は多いのではないでしょうか。そして、ただ和訳したいのではなく、素晴らしい品質で翻訳したいといった場合もそれなりに多いのではないでしょうか。

LLMの登場により、翻訳の質は劇的に向上し、一部のケースでは人間の訳文を上回るとも言われています。文書全体の流れをくんだり、文学的なニュアンスを表現したりといった高度な翻訳もこなせるようになりつつあります。

しかし、翻訳の質をどう評価するかは相変わらず大きな課題です。それも、専門家が手間暇をかけて評価するのではなく、機械的に素早く自動評価することが望まれています。

多くの自動評価手法は「なぜその訳が良いのか」を説明してくれません。たとえば数値スコアだけでは、訳文の出来栄えが全体的に高くなってくると差が見えにくくなってきます。今必要なのは「どの点が優れているのか」「どこで失敗しているのか」といった、理由付きの評価です

翻訳の品質を考える際には、正確性や用語の使い方だけでなく、読者にとって自然かどうか、内容が抜け落ちていないか、あるいは勝手な内容が付け加えられていないかといった複数の観点が存在します。

理由が示されれば、ユーザーはその評価を読み解き、自らの判断と照らし合わせたり、改善点を発見したりしやすくなります。

そこで本記事では、プロンプトによってLLMに「評価の根拠」を言語化させながら、訳文を多面的にスコア付け・ランク付けする仕組みについて取り上げます。