S型函數

S型函數（英語：sigmoid function，或稱乙狀函數）是一種函數，因其函數圖像形狀像字母S得名。其形狀曲線至少有2個焦點，也叫「二焦點曲線函數」。S型函數是有界、可微的實函數，在實數範圍內均有取值，且導數恆為非負，有且只有一個拐點。S型函數和S型曲線指的是同一事物。

S型函數的曲線圖形

S型函數在複數域的分布圖形

邏輯斯諦函數是一種常見的S型函數，其公式如下：

$S(t)={\frac {1}{1+e^{-t}}}.$

其級數展開為：

$s:=1/2+{\frac {1}{4}}t-{\frac {1}{48}}t^{3}+{\frac {1}{480}}t^{5}-{\frac {17}{80640}}t^{7}+{\frac {31}{1451520}}t^{9}-{\frac {691}{319334400}}t^{11}+O(t^{12})$

其他S型函數案例見下。在一些學科領域，特別是人工神經網絡中，S型函數通常特指邏輯斯諦函數。

常見的S型函數

一些S型函數的比較，圖中的函數皆以原點斜率為1的方式歸一化。

• 邏輯斯諦函數

$f(x)={\frac {1}{1+e^{-x}}}$

• 雙曲正切函數（等價於邏輯斯諦函數的平移與縮放）

$f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}$

• 反正切函數

$f(x)=\arctan x$

• 古德曼函數

$f(x)=\operatorname {gd} (x)=\int _{0}^{x}{\frac {1}{\cosh t}}\,dt=2\arctan \left(\tanh \left({\frac {x}{2}}\right)\right)$

• 誤差函數

$f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt$

• 廣義邏輯斯諦函數

$f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0$

• 平滑階躍函數

$f(x)={\begin{cases}\displaystyle {\frac {\int _{0}^{x}{\bigl (}1-u^{2}{\bigr )}^{N}\ du}{\int _{0}^{1}{{\bigl (}1-u^{2}{\bigr )}^{N}\ du}}},&|x|\leq 1\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1$

• 一些代數函數, 例如

$f(x)={\frac {x}{\sqrt {1+x^{2}}}}$

所有連續非負的凸形函數的積分都是S型函數，因此許多常見概率分布的累積分布函數會是S型函數。一個常見的例子是誤差函數，它是常態分布的累積分布函數。

參考文獻

• Mitchell, Tom M. Machine Learning. WCB–McGraw–Hill. 1997. ISBN 0-07-042807-7. . In particular see "Chapter 4: Artificial Neural Networks" (in particular pp. 96–97) where Mitchell uses the word "logistic function" and the "sigmoid function" synonymously – this function he also calls the "squashing function" – and the sigmoid (aka logistic) function is used to compress the outputs of the "neurons" in multi-layer neural nets.
• Humphrys, Mark. Continuous output, the sigmoid function. [2015-02-01]. （原始內容存檔於2015-02-02）.  Properties of the sigmoid, including how it can shift along axes and how its domain may be transformed.

參見

• 單位階躍函數
• 邏輯斯諦迴歸
• 分對數
• 線性整流函數
• Softmax函數
• 韋伯分布
• 費米-狄拉克統計