統計學概率論中,協方差矩陣(covariance matrix)是一個方陣,代表着任兩列隨機變量英語Multivariate random variable間的協方差,是協方差的直接推廣。

中心為 (0, 0) 的一個二元高斯概率密度函數,協方差矩陣為 [ 1.00, 0.50 ; 0.50, 1.00 ]。
一個左下右上方向標準差為 3,正交方向標準差為 1 的多元高斯分佈的樣本點。由於 xy 分量共變(即相關),xy 的方差不能完全描述該分佈;箭頭的方向對應的協方差矩陣的特徵向量,其長度為特徵值的平方根。

定義

編輯

定義 — 
 概率空間   是定義在   上的兩列實數隨機變量序列

若二者對應的期望值分別為:

 
 

則這兩列隨機變量間的協方差矩陣為:

 

將之以矩形表示的話就是:

 
 

根據測度積分的線性性質,協方差矩陣還可以進一步化簡為:

 

矩陣表示法

編輯

以上定義所述的隨機變量序列    ,也可分別以用行向量    表示,換句話說:

   

這樣的話,對於   個定義在   上的隨機變量   所組成的矩陣   , 定義:

 

也就是說

 

那上小節定義的協方差矩陣就可以記為:

 

所以協方差矩陣也可對    來定義:

 

術語與符號分歧

編輯

也有人把以下的   稱為協方差矩陣:

 

但本頁面沿用威廉·費勒的說法,把   稱為   的方差(variance of random vector),來跟   作區別。這是因為:

 

換句話說,   的對角線由隨機變量  方差所組成。據此,也有人也把   稱為方差-協方差矩陣(variance–covariance matrix)。

更有人因為方差離差的相關性,含混的將   稱為離差矩陣

性質

編輯

  有以下的基本性質:

  1.  
  2.  半正定的和對稱的矩陣。
  3.  
  4.  
  5.  
  6.  
  7.  
  8.  ,則有 
  9.  
  10.    是獨立的,則有 
  11.  

儘管協方差矩陣很簡單,可它卻是很多領域裏的非常有力的工具。它能導出一個轉換矩陣,這個矩陣能使數據完全去相關(decorrelation)。從不同的角度看,也就是說能夠找出一組最佳的基以緊湊的方式來表達數據。(完整的證明請參考瑞利商)。 這個方法在統計學中被稱為主成分分析(principal components analysis),在圖像處理中稱為Karhunen-Loève 轉換(KL-轉換)。

複隨機向量

編輯

均值為 的複隨機純量變量的方差定義如下(使用共軛複數):

 

其中複數 的共軛記為 

如果  是一個複列向量,則取其共軛轉置,得到一個方陣:

 

其中 為共軛轉置, 它對於純量也成立,因為純量的轉置還是純量。

估計

編輯

多元正態分佈的協方差矩陣的估計的推導非常精緻. 它需要用到譜定義以及為什麼把純量看做 矩陣的跡更好的原因。參見協方差矩陣的估計

外部連結

編輯