かっせいかかんすう
ニューラルネットワークの各ニューロンで、入力の重み付きの和(とバイアス)に対して適用する関数。非線形な関数を使うことで、層を重ねたネットワークが複雑な関係を表せるようになる。隠れ層ではReLUがよく使われ、出力層では2クラス分類にシグモイド関数、多クラス分類にソフトマックス関数、回帰には恒等関数(何もしない関数)を使うことが多い。
「活性化関数」は、2分野の5問の練習問題に出てきます(機械学習の基礎, AIハードウェアとソフトウェアスタックなど)。
この用語の分野: 機械学習の基礎
活性化関数を使わない(恒等関数を使う)と、各層は行列の掛け算とベクトルの足し算だけになります。線形な変換を何回重ねても1つの線形な変換にまとめられるので、層をいくら深くしても、表せるのは入力の1次式だけです。非線形な活性化関数をはさむことで、XORのような1本の直線で分けられない関係や、さらに複雑な関係も表せるようになります。
シグモイド関数 σ(z) = 1 ÷ (1 + e^(−z)) は出力が0から1の間に収まり、確率として扱えます。tanhは出力が−1から1の間に収まり、0を中心とした値になります。ReLU(z) = max(0, z) は、正の入力はそのまま、0以下の入力は0を出力する単純な関数で、計算が軽く勾配が消えにくいので、深いネットワークの隠れ層で標準的に使われています。ReLUを滑らかにしたGELUなどの関数もよく使われます。
シグモイド関数やtanhは、入力の絶対値が大きいと出力が一定の値に張り付き、微分がほとんど0になります。シグモイド関数の微分は最大でも0.25なので、層を重ねると逆伝播で勾配が掛け算で小さくなり、入力に近い層が学習しにくくなります(勾配消失)。ReLUは正の範囲で微分が1なので、勾配が小さくなりにくい性質があります。一方で、入力がいつも負になったニューロンは勾配が0のままで学習が止まるので、負の範囲にも小さな傾きを持たせたLeaky ReLUなどもあります。
多クラス分類の出力層で使う活性化関数の一つとして扱われます。ほかの活性化関数がニューロンごとに別々に計算するのに対し、ソフトマックス関数は出力層のすべての値を使って、合計が1になる確率に変換する点が違います。
関係はありません。ニューラルネットワークの活性化関数は、神経細胞が興奮する(発火する)様子をまねたことに由来する用語です。半導体の製造工程の活性化は、イオン注入した不純物を熱処理で結晶の格子の位置に入れ、キャリアを生む状態にすることを指します。
逆伝播では、各層の活性化関数の微分が勾配に次々と掛け合わされます。
多くの層を重ねたニューラルネットワークで、活性化関数にシグモイド関数を使うと、入力に近い層の学習が進みにくくなる理由と…行列の積の後に、バイアスの足し算、活性化関数、正規化などの要素ごとの演算が続くことがよくあります。
AIの計算で使われる「演算の融合(オペレータフュージョン)」の主な目的はどれか。計算グラフは、行列の積、足し算、活性化関数などの演算を節に、それらの間を流れるテンソルを矢印にした、モデルの計算の設計図です。
AIのフレームワークやコンパイラで使われる「計算グラフ」の説明として正しいものはどれか。間に隠れ層を加え、非線形な活性化関数を使う多層パーセプトロンにすると、XORも表せます。
入力層と出力層だけからなる単純パーセプトロン(しきい値で0か1を出力する1つのニューロン)で表せない論理関数はどれか。ReLUは、入力が正ならそのまま、0以下なら0を出力する活性化関数です。
入力が x₁ = 1、x₂ = 2 の小さなニューラルネットワークで、隠れ層の2つのニューロンが h₁ = ReLU(…Amazonの検索結果へのリンクです。Amazonのアソシエイトとして、半導体教室は適格販売により収入を得ています。