関連記事： Googleより「自然言語処理AIを目に見える形に」ツール登場【GitHub】

韓国語に特化したBERTが登場しました！

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

BERTが登場して以降、XLNetやRoBERTaなどの研究では多数のパラメータによって事前学習されたモデルを利用しています。このようなモデルは、大規模なハードウェアと膨大なデータ量を持つため、事前学習に時間がかかります。そのため，小さなモデルで比較的性能の良いものを作ることが重要です。