AIDB Daily Papers
フリーランサー向け翻訳分析II:機密翻訳ワークフローのためのローカルLLMのベンチマーキング
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究は、クラウドベースのエンジンが利用できない機密性の高い翻訳業務において、ローカルで実行可能なLLMの性能を評価した。
- 多言語コーパスを拡張し、複数のローカルLLMと商用NMTシステムを比較することで、プライバシー制約下でのLLM活用の可能性を探った。
- ローカルLLMは一部で商用NMTに匹敵する性能を示し、プライバシー重視の専門家にとって実用的な選択肢となりうることを明らかにした。
Abstract
Building on our previous work, this paper develops practical, low-barrier methods for freelance translators and smaller language service providers to evaluate translation technologies using rigorous yet accessible analytic methods. Here we address a high-stakes, specialized need: offline translation for confidentiality-sensitive domains in which privacy constraints preclude the use of cloud-based engines and commercial LLMs. We expand the Reeve Foundation Trilingual Corpus (RFTC) used in our previous work into a multilingual corpus (RFMC) by adding sentence-aligned German and Simplified Chinese reference translations. We then benchmark several locally runnable language models (via Ollama) across four language directions on 1000+ sentences selected from this corpus. We use consistent single-prompt calls without fine-tuning or domain adaptation, comparing local LLM outputs against commercial NMTs (DeepL, Baidu), a frontier LLM (GPT-5.2), and professional-grade local NMT systems (OPUS-CAT, NeuralDesktop, Promt). Automatic evaluation is conducted with MATEO. Results reveal substantial variation in local LLM performance across language directions and model sizes. The best local LLMs match or surpass local NMT systems and a frontier LLM, though they remain behind top commercial NMTs. These findings underscore the viability of carefully selected local LLM translation for privacy-constrained professionals and inform future research on model scaling and multilingual capability.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: