最近公開された機械学習の最新論文の中から「ソースコード、事前学習済みのモデル、データセット」が与えられているホットなものを選んで紹介。実際にＡＩを動かして座学から抜け出そう！

バックナンバーはこちら

今週の5本ノック
1本目. 自己学習型のモデルを作成しよう
2本目. 複数モデルから機械翻訳しよう
3本目. 自然言語処理を簡単に高速化しよう
4本目. GANを改善しよう
5本目. 機械学習のコストを抑えよう

自己学習型のモデルを作成しよう

自己学習型のモデル作成のアプローチが登場しました！(2020年7月12日公開)

最近のアプローチでは、対比予測、自己回帰予測、マスク再構成などの単一の補助タスクの定式化を通じて学習することがよくあります。

この論文の著者であるAndy T. Liuらは、自己学習型音声事前学習方法であるTERAを提案しています。

これは今までと違い、大量のラベルなしで事前学習を行い、モデルは変化した対応物から音響フレームの再構成を学習します。また、TERAは音素分類、話者認識、音声認識など、いくつかの下流タスクで評価され、以前の方法より優れていることが示されています。

実装してみよう！

複数モデルから機械翻訳しよう

複数モデルを使用した機械翻訳のアプローチが登場しました！(2020年7月14日公開)