激勵函數

在計算網路中， 一個節點的激勵函數定義了該節點在給定的輸入或輸入的集合下的輸出。標準的電腦晶片電路可以看作是根據輸入得到開（1）或關（0）輸出的數位電路激勵函數。這與神經網路中的線性感知機的行為類似。然而，只有非線性激勵函數才允許這種網路僅使用少量節點來計算非平凡問題。 在類神經網路中，這個功能也被稱為傳遞函式。

單變數輸入激勵函數

名稱	函式圖形	方程式	導數	區間	連續性[1]	單調	一階導數單調	原點近似恆等
恆等函式		$f(x)=x$	$f'(x)=1$	$(-\infty ,\infty )$	$C^{\infty }$	是	是	是
單位階躍函式		$f(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$f'(x)={\begin{cases}0&{\text{for }}x\neq 0\\{\text{不 存 在}}&{\text{for }}x=0\end{cases}}$	$\{0,1\}$	$C^{-1}$	是	否	否
邏輯函式 (S函式的一種)		$f(x)=\sigma (x)={\frac {1}{1+e^{-x}}}$[2]	$f'(x)=f(x)(1-f(x))$	$(0,1)$	$C^{\infty }$	是	否	否
雙曲正切函式		$f(x)=\tanh(x)={\frac {(e^{x}-e^{-x})}{(e^{x}+e^{-x})}}$	$f'(x)=1-f(x)^{2}$	$(-1,1)$	$C^{\infty }$	是	否	是
反正切函式		$f(x)=\tan ^{-1}(x)$	$f'(x)={\frac {1}{x^{2}+1}}$	$\left(-{\frac {\pi }{2}},{\frac {\pi }{2}}\right)$	$C^{\infty }$	是	否	是
Softsign 函式		$f(x)={\frac {x}{1+|x|}}$	$f'(x)={\frac {1}{(1+|x|)^{2}}}$	$(-1,1)$	$C^{1}$	是	否	是
反平方根函式 (ISRU)		$f(x)={\frac {x}{\sqrt {1+\alpha x^{2}}}}$	$f'(x)=\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3}$	$\left(-{\frac {1}{\sqrt {\alpha }}},{\frac {1}{\sqrt {\alpha }}}\right)$	$C^{\infty }$	是	否	是
線性整流函式 (ReLU)		$f(x)={\begin{cases}0&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}}$	$f'(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$[0,\infty )$	$C^{0}$	是	是	否
帶洩露線性整流函式 (Leaky ReLU)		$f(x)={\begin{cases}0.01x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}}$	$f'(x)={\begin{cases}0.01&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$	是	是	否
參數化線性整流函式 (PReLU)		$f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}}$	$f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$	Yes iff $\alpha \geq 0$	是	Yes iff $\alpha =1$
帶洩露隨機線性整流函式 (RReLU)		$f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}}$[3]	$f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$	是	是	否
指數線性函式 (ELU)		$f(\alpha ,x)={\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}}$	$f'(\alpha ,x)={\begin{cases}f(\alpha ,x)+\alpha &{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$(-\alpha ,\infty )$	${\begin{cases}C_{1}&{\text{when }}\alpha =1\\C_{0}&{\text{otherwise }}\end{cases}}$	Yes iff $\alpha \geq 0$	Yes iff $0\leq \alpha \leq 1$	Yes iff $\alpha =1$
擴展指數線性函式 (SELU)		$f(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}}$ with $\lambda =1.0507$ and $\alpha =1.67326$	$f'(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x})&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$(-\lambda \alpha ,\infty )$	$C^{0}$	是	否	否
S 型線性整流激勵函數 (SReLU)		$f_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}t_{l}+a_{l}(x-t_{l})&{\text{for }}x\leq t_{l}\\x&{\text{for }}t_{l}<x<t_{r}\\t_{r}+a_{r}(x-t_{r})&{\text{for }}x\geq t_{r}\end{cases}}$ $t_{l},a_{l},t_{r},a_{r}$ are parameters.	$f'_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}a_{l}&{\text{for }}x\leq t_{l}\\1&{\text{for }}t_{l}<x<t_{r}\\a_{r}&{\text{for }}x\geq t_{r}\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$	否	否	否
反平方根線性函式 (ISRLU)		$f(x)={\begin{cases}{\frac {x}{\sqrt {1+\alpha x^{2}}}}&{\text{for }}x<0\\x&{\text{for }}x\geq 0\end{cases}}$	$f'(x)={\begin{cases}\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3}&{\text{for }}x<0\\1&{\text{for }}x\geq 0\end{cases}}$	$\left(-{\frac {1}{\sqrt {\alpha }}},\infty \right)$	$C^{2}$	是	是	是
自適應分段線性函式 (APL)		$f(x)=\max(0,x)+\sum _{s=1}^{S}a_{i}^{s}\max(0,-x+b_{i}^{s})$	$f'(x)=H(x)-\sum _{s=1}^{S}a_{i}^{s}H(-x+b_{i}^{s})$[4]	$(-\infty ,\infty )$	$C^{0}$	否	否	否
SoftPlus 函式		$f(x)=\ln(1+e^{x})$	$f'(x)={\frac {1}{1+e^{-x}}}$	$(0,\infty )$	$C^{\infty }$	是	是	否
彎曲恆等函式		$f(x)={\frac {{\sqrt {x^{2}+1}}-1}{2}}+x$	$f'(x)={\frac {x}{2{\sqrt {x^{2}+1}}}}+1$	$(-\infty ,\infty )$	$C^{\infty }$	是	是	是
S 型線性加權函式 (SiLU) (也被稱為Swish)		$f(x)=x\cdot \sigma (x)$[5]	$f'(x)=f(x)+\sigma (x)(1-f(x))$[6]	$[\approx -0.28,\infty )$	$C^{\infty }$	否	否	否
軟指數函式		$f(\alpha ,x)={\begin{cases}-{\frac {\ln(1-\alpha (x+\alpha ))}{\alpha }}&{\text{for }}\alpha <0\\x&{\text{for }}\alpha =0\\{\frac {e^{\alpha x}-1}{\alpha }}+\alpha &{\text{for }}\alpha >0\end{cases}}$	$f'(\alpha ,x)={\begin{cases}{\frac {1}{1-\alpha (\alpha +x)}}&{\text{for }}\alpha <0\\e^{\alpha x}&{\text{for }}\alpha \geq 0\end{cases}}$	$(-\infty ,\infty )$	$C^{\infty }$	是	是	Yes iff $\alpha =0$
正弦函式		$f(x)=\sin(x)$	$f'(x)=\cos(x)$	$[-1,1]$	$C^{\infty }$	否	否	是
Sinc 函式		$f(x)={\begin{cases}1&{\text{for }}x=0\\{\frac {\sin(x)}{x}}&{\text{for }}x\neq 0\end{cases}}$	$f'(x)={\begin{cases}0&{\text{for }}x=0\\{\frac {\cos(x)}{x}}-{\frac {\sin(x)}{x^{2}}}&{\text{for }}x\neq 0\end{cases}}$	$[\approx -0.217234,1]$	$C^{\infty }$	否	否	否
高斯函式		$f(x)=e^{-x^{2}}$	$f'(x)=-2xe^{-x^{2}}$	$(0,1]$	$C^{\infty }$	否	否	否

說明

^ 若一函式是連續的，則稱其為$C^{0}$函式；若一函式$n$階可導，並且其$n$階導函式連續，則為$C^{n}$函式（$n\geq 1$）；若一函式對於所有$n$都屬於$C^{n}$函式，則稱其為$C^{\infty }$函式，也稱光滑函式。

^ 此處H是單位階躍函式。

^ α是在訓練時間從均勻分佈中抽取的隨機變數，並且在測試時間固定為分佈的期望值。

^ ^ ^ 此處$\sigma$是邏輯函式。

多變數輸入激勵函數

名稱	方程式	導數	區間	光滑性
Softmax函式	$f_{i}({\vec {x}})={\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}$    for i = 1, …, J	${\frac {\partial f_{i}({\vec {x}})}{\partial x_{j}}}=f_{i}({\vec {x}})(\delta _{ij}-f_{j}({\vec {x}}))$[7]	$(0,1)$	$C^{\infty }$
Maxout函式	$f({\vec {x}})=\max _{i}x_{i}$	${\frac {\partial f}{\partial x_{j}}}={\begin{cases}1&{\text{for }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{for }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$

說明

^ 此處δ是克羅內克δ函式。

參見

• 邏輯函式
• 線性整流函式
• Softmax函式
• 類神經網路
• 深度學習