こんにちは、ぽめた （@pometa0507） です。
社会人エンジニアとして働く傍ら、AI資格の「E資格」取得に向けてディープラーニングの勉強をしています。

この連載は、E資格の勉強中に学んだ内容を記事としてまとめるものです。 E資格を受験される方のおさらいや、E資格に興味のある方の参考となれば幸いです。

前回の記事（Day3）では、隠れユニットの活性化関数について取り上げました。今回のDay4では、活性化関数の続きとして「ReLUの一般化」を紹介します。

これまでの記事
Day1の記事「ディープラーニングの概要」
Day2の記事「パーセプトロン」
Day3の記事「活性化関数」

活性化関数

まずは前回のおさらいです。

ニューラルネットワークでは、隠れユニットに非線形な活性化関数を適用することで、表現力の高いネットワークを構築することができます。

下の図はアフィン変換＋活性化関数の構成の例を示したものです。