関連記事： Googleより「自然言語処理AIを目に見える形に」ツール登場【GitHub】

韓国語に特化したBERTが登場しました！

BERTが登場して以降、XLNetやRoBERTaなどの研究では多数のパラメータによって事前学習されたモデルを利用しています。このようなモデルは、大規模なハードウェアと膨大なデータ量を持つため、事前学習に時間がかかります。そのため，小さなモデルで比較的性能の良いものを作ることが重要です。