TransformerはRNNやCNNを使わず、Self-AttentionなどのAttention機構のみを用いる構造が最大の特徴です。

Self-Attentionは、同じ入力列内で「どの単語がどの単語に注目するか」を計算し、それぞれが必要な情報を取り込むための方法です。

初期の検証では英語→ドイツ語、英語→フランス語といった機械翻訳タスクで大きな成果を示しました。

RNNは各ステップを順番に処理しますが、TransformerはAttentionによって全単語間の関係を並列的に計算できるため、学習が速く進みます。

複数の「ヘッド」が並行してAttentionを行うため、それぞれ異なる観点やパターンを学習でき、より豊かな表現が獲得できます。

デコーダ側のSelf-Attentionでは、まだ生成されていない「未来」の情報を見られないようにマスクをかけ、順序を守るようにしています。

RNNのように「順番に処理する」仕組みがない代わりに、位置情報を追加するPositional Encodingを使って順序関係をモデルに組み込みます。

並列計算可能なSelf-Attentionのおかげで、学習速度が大幅に向上しやすい点が最大のメリットの一つです。

論文では一般的な翻訳評価指標であるBLEUスコアが使われ、既存手法を上回る結果が示されています。

「Transformer (big)」はレイヤー数や各層のサイズを増やした大型モデルであり、学習コストは上がる一方で高性能を示します。