平滑最大值是最大值函數光滑函數。其是一個參數族,在 中,對於每個參數α,函數 都是平滑的。參數族內包含最大值函數,並且平滑最小值的概念也是類似的。 在大多數情況下,一個族滿足兩個條件:當參數趨向於正無窮大時為函數變為最大值函數,當參數變為負無窮大時函數變為最小值函數;符號表示為: 。平滑最大值也可以用於描述行為類似於最大值函數的其他平滑函數,而不一定必須在此參數族中。

例子

編輯
 
平滑最大值應用於具有各種係數的'-x'和x函數。 非常光滑當  = 0.5,而  = 8更加平滑。

當正值參數較大時,且  ,下列公式是最大函數的平滑函數,可微、近似於最大值函數。 對於絕對值較大的負值參數,其近似最小值函數。

 

 具有以下屬性:

  1.   
  2.  是其輸入的算術平均值
  3.   

 的梯度近似於softmax函數,由以下公式可得:

 

這使softmax函數使用梯度下降的優化時很有用。

LogSumExp

編輯

另一個平滑最大值函數例子是LogSumExp

 

如果 都是非負的,可產生定義域是 和值域是 的函數 :

 

 項通過消除除零以外的所有零指數使得 ,以及  為零。

p範數函數

編輯

另一個平滑最大值函數是p範數

 

  ,收斂到 

p範數的一個優點是它是一個範數 。 因此,它是「尺度不變」的(同質的):   ,它滿足三角不等式。

數值方法

編輯

平滑函數的其他例子

編輯
 

參見

編輯

參考文獻

編輯

M. Lange, D. Zühlke, O. Holz, and T. Villmann, "Applications of lp-norms and their smooth approximations for gradient based learning vector quantization," in Proc. ESANN, Apr. 2014, pp. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf頁面存檔備份,存於網際網路檔案館))