貝氏統計

貝氏統計是一種基於貝氏機率的統計學理論，以貝氏統計的開創人，數學家、長老會牧師托馬斯·貝葉斯命名。法國數學家皮埃爾-西蒙·拉普拉斯後來在托馬斯·貝葉斯工作的基礎上進一步發展了貝氏統計，並發明了拉普拉斯平滑等現代貝氏統計中常用的方法。

貝氏統計學認為機率是一種基於個人經驗、之前的相關實驗結果等先驗訊息而得出的信念度（degree of belief），沒有必要經由反覆實驗驗證。這一點也是貝葉斯學派與頻率學派的主要不同之處，因為頻率學派認為機率是經反覆的實驗後頻率應達到的極限（大數定理）。

貝氏統計的核心方法是基於貝氏定理，用取得的數據（可記為$B$）對根據個人經驗等先驗訊息對希望研究的命題或假設（可記為$A$）先驗概率$P(A)$進行修正，得到後驗概率$P(A|B)$。

在過去很長一段時間，貝氏統計並不受學界的重視。一方面，長期流行的很多統計學方法都是基於頻率學派的，因此很長時間內統計學界都是以頻率學派佔主導地位。頻率學派常常批評貝氏統計中的先驗概率過於主觀。另一方面，貝氏統計方法往往涉及複雜的計算，這在電子計算機尚不普及的時代是一個很大的問題。不過，隨計算機技術的不斷發展以及馬可夫鏈蒙地卡羅等新算法的出現，21世紀貝氏統計已在統計學中占愈發重要的地位

貝葉斯公式

主條目：貝葉斯公式

假設有兩個事件，分別記為$A$與$B$。$A$是人們希望探究的一個命題或假設（例如「丟出一枚硬幣之後正面朝上的機率是50%」），而$B$則是有關的實驗證據（例如丟出20次硬幣後的每次硬幣正面朝上還是朝下的結果）：

$$P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}$$

該公式中，$P(A)$被稱為先驗概率，是基於經驗、先前的實驗結果等得出的一個機率。$P(A\mid B)$則是根據證據$B$修正後$A$的機率，稱為後驗概率。貝氏統計學中一般需要求得最大後驗概率，即後驗概率的眾數。$P(B\mid A)$被稱為似然函數，因為基於似然原則（equivalent principle）$P(B\mid A)=L(A\mid B)$，即條件機率$P(B\mid A)$等於條件B下A的似然。$P(B)$一般被稱為「證據」，可由全機率定理算出，求出在所有$A$的不同情況下$A$、$B$的聯合機率之和：

$$P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})$$。

$B$的機率分佈一般是連續的，這往往造成$P(B)$的計算涉及到複雜的積分。不過，使用變分貝葉斯方法或馬可夫鏈蒙地卡羅等方法可在不涉及計算$P(B)$的情況下求得所需的最大後驗概率，在這種情況下可以只考慮先驗概率與似然函數對後驗概率的影響（$\propto$符號代表「成正比」）：

$$P(A\mid B)\propto P(B\mid A)P(A)$$

貝氏推論

主條目：貝氏推論

貝氏統計的思想可用於貝氏推論中。貝氏推論，顧名思義，是指使用貝氏統計的思想進行統計推論，即利用樣本推論總體情況的過程。貝氏推論與頻率學派推論的一個最大不同是頻率學派認為總體的頻率是一定的，只是我們無法準確知道，但在樣本量足夠大時頻率會逐漸收斂於真實的機率值。因此頻率學派推論不會為假設或者模型的參數賦予一個機率。例如頻率學派推論中不會有「下次投硬幣正面朝上機率為1/2這種說法」，而是會認為，經過不斷大量實驗，（如果這枚硬幣是完美均勻的），那麼正面朝上的頻率會逐漸趨近於1/2。因此頻率學派推論一般是給出統計量以及其置信區間。貝氏推論則會先基於經驗、先前的研究等先驗知識給假設賦予一個先驗概率（例如實驗者基於經驗認為的硬幣朝上的機率）或者先驗概率分佈，再使用實驗得到的證據來修正這個先驗概率，得到更契合證據的後驗概率或後驗概率分佈。後驗概率或後驗概率分佈即貝氏推論的輸出。

因為貝氏推論的這一特點，貝氏推論很適合用來做探索性數據分析，意即揭示數據的結構的分析過程 。

參見

• 貝葉斯推理