こんにちは、ぽめた （@pometa0507） です。社会人エンジニアとして働く傍ら、AI資格の「E資格」取得に向けてディープラーニングの勉強をしています。

この連載は、E資格の勉強中に学んだ内容を記事としてまとめるものです。 E資格を受験される方のおさらいや、E資格に興味のある方の参考となれば幸いです。

前回の記事（Day2）は、ニューラルネットワークの基本要素となるパーセプトロンについて取り上げました。今回のDay3では、隠れユニットの代表的な活性化関数についてのまとめです。

これまでの記事
Day1の記事：「ディープラーニングの概要」
Day2の記事：「パーセプトロン」

ニューラルネットワーク

まずは、ニューラルネットワークの構造とアフィン変換についておさらいしておきます。

ニューラルネットワークを図で表すと次のようになります。

〇で表したものをノード（ニューロン）といい、ノードの列を層といいます。また、一番左の層を入力層、一番右の層を出力層、そして間の層を中間層（隠れ層）と呼びます。ニューラルネットワークに入力されたデータは、左の層から右の層へ伝搬されます。この処理を順伝播といいます。

ニューラルネットワークにおいてデータが次の層へ伝搬されるとき、隣接する層のノード間すべてが結合している層を「全結合層」と呼ばれます。この全結合層では、前の層のデータをアフィン変換という計算をすることで次の層へと伝えます。

全結合層の例を示します。