馬可夫過程
此條目可參照英語維基百科相應條目來擴充。 |
在概率論及統計學中,馬可夫過程(英語:Markov process)是一個具備了馬可夫性質的隨機過程,因為俄國數學家安德雷·馬可夫得名。馬可夫過程是不具備記憶特質的(memorylessness)。換言之,馬可夫過程的條件概率僅僅與系統的當前狀態相關,而與它的過去歷史或未來狀態,都是獨立、不相關的[1]。
![](http://upload.wikimedia.org/wikipedia/commons/thumb/b/b9/Markov_process-example.svg/220px-Markov_process-example.svg.png)
具備離散狀態的馬可夫過程,通常被稱為馬可夫鏈。馬可夫鏈通常使用離散的時間集合定義,又稱離散時間馬可夫鏈[2]。有些學者雖然採用這個術語,但允許時間可以取連續的值[3]。
概論
編輯可數或有限的狀態空間 | 連續或一般的狀態空間 | |
---|---|---|
離散時間 | 在可數且有限狀態空間下的馬可夫鏈 | Harris chain (在一般狀態空間下的馬可夫鏈) |
連續時間 | Continuous-time Markov process | 任何具備馬可夫性質的連續隨機過程,例如維納過程 |
數學模型
編輯對於某些類型的隨機過程,很容易通過狀態定義列方程推導出是否具有馬可夫性質,但對於另外一些,需要使用馬可夫性質中描述的一些更加複雜的數學技巧。舉一個簡單的例子,設某個隨機過程他的狀態X可取到一個離散集合中的值,該值隨時間t變化,可將該值表示為X(t)。在這裏,時間變量是離散或連續不影響討論的結果。考慮任意一個「過去的時間」集合(...,p2, p1), 任何「當前時間」s, 以及任何「未來時間」 t, 同時所有這些時間全都在X的取值範圍之內,若有
則馬可夫性質成立, 並且該過程為馬可夫過程, 如果式
對於所有的取值( ... ,x(p2), x(p1), x(s), x(t) ), 以及所有的時間集合成立。 則可用條件概率計算得出
與任何過去的取值( ... ,x(p2), x(p1) )不相關,這恰好就是所謂的未來的狀態與任何歷史的狀態無關,僅與當前狀態相關。
二階馬可夫過程
編輯在某些情況下,如果將「現在」和「未來」的概念擴展,某些明顯的非馬可夫過程仍然可能具有某些馬可夫過程的性質。舉例來說,令X是一個非馬可夫過程,現在構造一個過程Y,使其每個狀態對應於X的一個時段的狀態。從而有如下形式:
如果Y具有馬可夫性質,則稱X為二階馬可夫過程,據此也可定義更高階馬可夫過程。一個高階馬可夫過程的例子是移動平均的時間序列
馬可夫性質
編輯馬可夫性質是概率論中的一個概念。當一個隨機過程在給定現在狀態及所有過去狀態情況下,其未來狀態的條件概率分佈僅依賴於當前狀態;換句話說,在給定現在狀態時,它與過去狀態(即該過程的歷史路徑)是條件獨立的,那麼此隨機過程即具有馬可夫性質。具有馬可夫性質的過程通常稱之為馬可夫過程。
數學上,如果 為一個隨機過程,則馬可夫性質就是指
馬可夫過程通常稱其為(時間)齊次,如果滿足
除此之外則被稱為是(時間)非齊次的。齊次馬可夫過程通常比非齊次的簡單,構成了最重要的一類馬可夫過程。
某些情況下,明顯的非馬可夫過程也可以通過擴展「現在」和「未來」狀態的概念來構造一個馬可夫表示。設 為一個非馬可夫過程。我們就可以定義一個新的過程 ,使得每一個 的狀態表示 的一個時間區間上的狀態,用數學方法來表示,即,
如果 具有馬可夫性質,則它就是 的一個馬可夫表示。 在這個情況下, 也可以被稱為是二階馬可夫過程。更高階馬可夫過程也可類似地來定義。
參考文獻
編輯- ^ Markov process (mathematics) (頁面存檔備份,存於互聯網檔案館) - Britannica Online Encyclopedia
- ^ Everitt,B.S. (2002) The Cambridge Dictionary of Statistics. CUP. ISBN 0-521-81099-x
- ^ Dodge, Y. The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9