関連記事：医療の用語に対応した自然言語処理パッケージ「MedCAT」登場！【GitHub】

多言語に対応した最先端の自然言語処理モデルが登場しました！

背景

自然言語処理(NLP)モデルの「Text-to-Text Transfer Transformer」(T5)は、統一されたテキストからテキストへの変換形式とスケールを利用して、様々な英語NLPタスクにおいて最先端の結果を達成しています。しかし、T5を含む最近の言語モデルの多くは英語のテキストのみで事前に訓練されており、世界人口の約80％が英語を話さないことを考えると、これでは使用が著しく制限されてしまいます。

Google ResearchのLinting Xueらは、 T5を多言語に対応させたモデルであるmT5を提案しています。

テクノロジー