拉普拉斯方法

數學上,以皮埃爾-西蒙·拉普拉斯命名的拉普拉斯方法是用於得出下列積分形式的近似解的方法:

其中的 ƒ(x) 是一個二次可微函數M 是一個很大的數,而積分邊界點 ab 則允許為無限大。此外,函數 ƒ(x) 在此積分範圍內的 全域極大值 所在處必須是唯一的並且不在邊界點上。則它的近似解可以寫為:

其中的 x0 為極大值所在處。這方法最早是拉普拉斯在 (1774, pp. 366–367) 所發表。(待考查)

拉普拉斯方法的想法概論

編輯
1. 相對誤差

首先,我們得先知道的是,這裏所謂的近似解是以 相對誤差 在講,而不是指 絕對誤差 。因此,令

 

s 很顯然的當 M 很大時為一個微小的數,則上述的積分可以寫為

 

因此,我們的相對誤差很顯然的為

 

現在,讓我們把積分分為   的與餘下的部分。

2. 函數   在極大值附近的行為,當   很大時會趨近於  

我們現在來研究  泰勒展開 。這裏展開的原點取 x0 ,並將變數由 x 換為 y 因為我們是在對 y 做積分,再加上 x0 為函數極大值所在處,因此,

 

會發現高於二次微分的部分當 M 增大時,會被壓抑掉,而此 指數函數 則會越來越接近 高斯函數    。如下圖所示:

 
圖為   ,其中M為 1, 2 與 3。紅色線為  
3. 當   增加,則相對應的   範圍變小
  的部分由上面論述可知當 M 越大則越接近高斯函數;並且有趣的是,相對應的 x 區間則越來越小,因為     成反比。
4.若拉普拉斯方法所用的積分會收斂,它的相對誤差相對應的非極大值附近的其餘部分的積分就會隨   增大而趨近於0

所以,即便 Dy 取非常大, sDy 最後還是會變得非常小,那麼,我們怎麼保證餘下的部分的積分也會趨近到0?

簡單的想法是,設法找一個函數   ,使它在餘下的區域內   ,並且隨着   的增大,  的積分會趨近於0 即可。而指數函數只要指數部分為實數,它就一定大於0,並且當指數變大時,指數函數也會跟着變大。基於這兩個理由,   的積分也會趨近於0。 在此,我們可以選擇此   為過   的切線函數,如下圖所示:

 
  以斜直線代表,為通過位於   的切線,當   越小,涵蓋的範圍越大

若為有限積分區間,我們可以看出,只要   夠大,這切線的斜率就會趨近於0 ,因此,不管   在其餘部分是否連續,它們總會在這切線以下,並且很容易證明(後面會證)   的積分當   很大時,就會趨近於0。

然而,若積分範圍是無限大的話,那麼,  就有可能總是與   有相交,若有相交,則表示無法保證   的積分最後會趨近於0。比方   的情形下,不管   為多少,它的   總是會發散。所以,對於積分範圍為無限大的情形,還得要求   會收斂才行,那麼,只要   越來越大,該積分就會趨近於0。而這   可選為   相交之處即可,即保證所有餘下的部分的積分會趨近於0。

也許您會問說,為何不是要求   會收斂?舉個例子,若   在餘下區域內為   ,則   ,積分會發散,然而,當    的積分卻是收斂的。所以,有的函數在   小的時候會發散,然而,當   夠大時卻會是收斂的。

基於上述四點,就有辦法證明拉普拉斯方法的可靠性。而 Fog(2008) 又將此方法推廣到任意精確。 ***待考查***

此方法的正式表述與證明:

假設   是一個在   這點滿足 (1)   ,(2)唯一全域最大,(3)   附近為二階可微且   (4) 當拉普拉斯方法的積分範圍為無限大時,此積分會收斂,

則,

 
證明:

下限

  要求連續的條件底下,給定任意大於0的  就能找到一個   使得在   這區間內所有的   。 由 泰勒展開 我們可以得知,在   區間內,  

這樣,我們就得到本方法的積分下限了:

 

其中最後一個等號來自於變數變換:   。請記得   ,所以我們才會對它的負號取開根號。

接着讓我們對上面的不等式兩邊同除以   並且對  取極限,則

 

既然上式是對任意大於0的   都對,所以我們得到:

 

請注意,上面的證明也適用於    或雙雙跑到正負無限大的情況

上限

證明上限的部分其實和證明下限的部分很像,但是會較麻煩。再一次,我們取  ,不過,不再是任意而是多了一個要求   得夠小以致於   。接着,就如同之前的證明,因着   被要求連續,並且根據 泰勒定理 我們會發現總存在一個   以至於在   區間裏,   總是可以成立。 最後,在我們的假設裏 (假設   都是有限值) ,由於   是全域最大所在處,我們總可以找到一個   使得所有在   這區間裏,   總是成立。

現在,萬事俱備,東風就在下面啦:

 
 
 

如果我們對上面的不等式兩邊皆除以   並且順便取極限的話,會得到:

 

再一次,因為   可以取任意大於0的值,所以我們得到了上限了:

 

把上限與下限兩個證明同時考慮,整個證明就完成了。

注意,關於上限的證明,很明顯的當我們把它應用在    為正負無限大時,該上限證明會失敗。那怎麼辦呢?我們需要再多假設一些東西。一個充分但非必要的假設是:當   時,此積分   為有限值,並且上面所說的   是存在的 (注意,當   區間是無限的時候,這假設是必要的) 。整個證明過程就如同先前所顯示的那樣,只不過下列的積分部分要做點改變:

 

必須利用上述的假設,而改為:

 

以取代先前會得到的   ,這樣的話,當我們除以   ,就會改得到如下的結果:

 

這樣的話,當我們取   時,上式的值就會趨近於   。而剩下的部分的證明就還是如同原先的證明,不做改變。

再強調一次,這裏我們多加給無限大積分範圍的情形的條件,是充分,但非必要。不過,這樣的條件已經可以適用在許多情形了(但非全部)。 這考慮條件簡單來講就是積分區間得是被良好定義的(即不能是無限大的),並且被積函數在   必須是真的極大 (意即   必須真的存在) ;如果這積分區間是無限大的話,要求   時的此拉普拉斯方法所用的積分值要為有限並非必要的,其實只要當   大於某數時,此積分值會是有限的即可。

其他形式

編輯

有時拉普拉斯方法也會被寫成其他形式,如:

 

其中  為正 (好像不必要)。

重要的是,這方法精確度與函數    有關。 [1] ***待考查***

相對誤差的推導

首先,由於極大值所在設為   並不影響計算結果,所以以下的推導皆如此假設。此外,我們想要的是相對誤差  ,所以

 

其中   ,所以,若我們令    ,則

 

所以,只要我們求得上式的上限為何,即可得相對誤差。注意,這裏的推導還可以再優化,不過,由於此處我只想顯示它會收斂到0,因此,不再細推。

由於   ,因此

 

其中    雷同,所以只算   ,經過   的變換後,得到

 

也就是說,只要   取得夠大,它就會趨近於0。

   也雷同,所以也只算一個:

 

其中

 

並且   在此範圍內要與   同號。 這裏讓我們選過   的切線為   吧!即   ,如圖所示:

 
  以斜直線代表,為通過位於   的切線

由圖可以看出,當   或者   變小時,滿足上列不等式的區間會變大,因此,為了涵蓋整個區間,   有了上限。此外,  的積分也相對容易,因此,很適合用來預估誤差。

由泰勒展開我們得知,

 

 

然後將它們代回   的計算裏,不過,您可以看到,上述的兩個餘項皆與   的開根號成反比,為了式子的漂亮,讓我省略它們吧!不省略只是看起來較醜陋而已,不過,那樣子較嚴謹便是。

 

所以,原則上也是   越大則越趨近於0。只不過,在決定   的過程,設下了   的上限。

至於靠近極大值的點的積分,我們一樣可以利用泰勒展開來求,當   在此點的一階微分不為0時,

 

會看到它原則上與   的開根號成反比,其實,當   為常數時,積分出來的也會有如此的行為。

所以,概括的講,靠近極大點的附近的積分原則上會隨着   的增大而變小,而其餘的部分,只要   夠大,也會趨近於0,只是這  是有上限的,取決於我們所找的上限函數   是否在這區間內總是大於   ;不過,一旦有一個滿足條件的   被找到,由於切線的起點為   ,因此,  可以取正比於   即可,所以,   越大,  也可以設越大。

至於多維的情形,讓我們令   是一個   維向量,而   則是一個純量函數,則此拉普拉斯方法可以寫成

 

其中的   是一個在  取值的 海森矩陣,而   則是指矩陣的 行列式 ;此外,與單變數的拉普拉斯方法類似,這裏的 海森矩陣 必須為 負定矩陣,即該矩陣的所有本徵值皆小於0,這樣才會是極大值所在。.[2]

拉普拉斯方法的推廣:最速下降法

編輯

此拉普拉斯方法可以被推廣到 複分析 裏頭使用,搭配 留數定理 ,以找出一個過最速下降點的 contour (翻路徑的話,會與path integral 相衝,所以,這裏還是以英文原字稱呼) 的 曲線積分 ,用來取代原有的複數空間的 contour積分。因為有時   的一階微分為0的點未必就在實數軸上,而就算真在實數軸上,也未必二階微分在   方向上為小於0 的實數;此種情況下,就得使用最速下降法了。由於最速下降法中,已經利用另一條通過最速下降的鞍點來取代原有的 contour 積分,經過變數變換後就會變得有如拉普拉斯方法,因此,我們可以透過這新的 contour ,找到原本的積分的漸進近似解,而這將大大的簡化整個計算。就好像原本的路徑像是在蜿蜒的山路開車,而新的路徑就像乾脆繞過這座山開,反正目的只是到達目的地而已,留數定理已經幫我們把中間的差都算好了。請讀 Erdelyi (2012)與 Arfken & Weber (2005) 的書裏有關 steepest descents 的章節。

以下就是該方法在z 平面下的形式:

 

其中 z0 就是新的路徑通過的鞍點。 注意,開根號裏的負號是用來指定最速下降的方向,千萬別認為取   的絕對值來取代這個負號,若然,那就大錯特錯了。 另外要注意的是,如果該被積函數是 亞純函數 ,就有必要將被新舊 contour 包到的極點所貢獻的留數給加入,範例請參考 Okounkov 的文章 arXiv:math/0309074 的第三章。

更進一步一般化

編輯

最速下降法還可以更進一步的推廣到所謂的 非線性穩定相位/最速下降法 (nonlinear stationary phase/steepest descent method)。 這方法主要用在解非線性偏微分方程,透過將非線性偏微分方程轉換為求解柯西變換(Cauchy transform)的積分形式,就可以藉由最速下降法的想法來得到非線性解的漸進解。

艾里方程(線性)   為例,它可以寫成積分形式如下:

 

由這條積分式,我們就可以藉由最速下降法(若   指的是負實數軸,那麼就回到此拉普拉斯方法了)來得到它的漸進解了。

然而,若方程式如 KdV方程   是個非線性偏微分方程,想要找到它的解相對應的一個複數 contour 積分的話,就沒那麼簡單,在非線性穩定相位/最速下降法裏所用到的概念主要是基於散射逆轉換 (inverse scattering transform) 的處理方式,即先將原本的非線性偏微分方程變成 Lax 對 ,其中一個像是線性的 薛定諤方程式 ,其位能障為我們要找的   ,本徵值為   ,波函數為   (不過,它並非我們所要的   );因此可以解它的散射矩陣,若利用解析延拓將原本的波函數由實數   延拓到複數空間時,就可以得到黎曼希爾伯特問題(RHP)的形式。利用這個黎曼希爾伯特問題(RHP) ,我們可以解得   的柯西變換的積分形式,再利用此線性薛定諤方程的特性,就可以反推出   的複數 contour 積分 形式了。

Lax 對 的另一個偏微分方程則是決定每個   隨時間變化的行為,由於    時被要求為0 ,會發現整個偏微分方程會變得十分簡單,並且只決定   裏的   的值,不過,條件是   必須是指由正負無限遠入射或反射波的解。這樣,我們所得到的這個只與時間與本徵值有關的系數   就可以直接被應用在上述的黎曼希爾伯特問題(RHP)裏的躍變矩陣裏了。

接着就是非線性穩定相位/最速下降法所要做的工作,即找出 鞍點 來,在該點附近基於最速下降法的精神做近似。不過,這近似因着考慮到收斂性,需要將原本的 contour 變形,與將原本的黎曼希爾伯特問題(RHP)作轉換,所以有再比原本的最速下降法多出一些步驟來。

這整個方法最早由 Deift 與 Zhou 在 1993 基於 Its 之前的工作所提出的,後續又有許多人加以改進,主要的應用則有 孤波 理論,可積模型等。

複數積分

編輯

以下的積分常用在 拉普拉斯變換#拉普拉斯逆變換 裏,

 

假定我們想要得到該積分在   時的結果(若   為時間,通常就是在找經過夠久時間後達穩定的結果),我們可以透過 解析延拓 的概念,先將這時間換成虛數,如 t = iu 並且一併做   的變換,則我們可以將上式轉換為如下的 拉普拉斯變換#雙邊拉普拉斯變換

 

這裏就可以套用此拉普拉斯方法求漸進解,最後,再利用 u = t / it 換回來,就可以得到該拉普拉斯逆變換的漸進解了。

例子1:斯特靈公式

編輯

拉普拉斯方法可以用在推導 斯特靈公式 上;當 N 很大時,

 

證明:

Γ函數 的積分定義,我們可以得到

 

接着讓我們做變數變換,

 

因此

 

將這些代回 Γ函數 的積分定義裏,我們可以得到

 

經由此變數變換後,我們有了拉普拉斯方法所需要的 

 

而它乃為二次可微函數,且

 
 

因此, ƒ(z) 的極大值出現在 z0 = 1 而且在該點的二次微分為   。因此,我們得到

 

例子2:貝氏網絡 ,參數估計與概率推理

編輯

關於概率推理的簡介,請參考 http://doc.baidu.com/view/e9c1c086b9d528ea81c77989.html 。 而在 Azevedo-Filho & Shachter 1994 的文章裏,則回顧了如何應用此拉普拉斯方法 (無論是單變數或者多變數) 如何應用在 概率推理 上,以加速得到系統的 後驗矩 (數學) (posterior moment) , 貝氏參數英語Bayes_factor 等,並舉醫學診斷上的應用為例。

相關維基百科文章

編輯

參考文獻

編輯
  1. ^ Butler, Ronald W. Saddlepoint approximations and applications. Cambridge University Press. 2007. ISBN 978-0-521-87250-8. 
  2. ^ MacKay, David J. C. Information Theory, Inference and Learning Algorithms. Cambridge: Cambridge University Press. September 2003. ISBN 9780521642989. (原始內容存檔於2016-02-17).