在统计学与概率论中,协方差矩阵(covariance matrix)是一个方阵,代表著任兩列随机变量间的协方差,是协方差的直接推广。
定義 —
設 是機率空間, 与 是定義在 上的兩列实数随机变量序列
若二者对应的期望值分别为:
-
-
則这两列隨機变量间的协方差矩阵为:
-
將之以矩形表示的話就是:
-
-
根據測度積分的線性性質,协方差矩阵還可以進一步化簡為:
-
以上定義所述的隨機變數序列 和 ,也可分別以用行向量 與 表示,換句話說:
-
這樣的話,對於 個定義在 上的隨機變數 所組成的矩陣 , 定義:
-
也就是說
-
那上小節定義的协方差矩阵就可以記为:
-
所以协方差矩阵也可對 與 來定義:
-
也有人把以下的 稱為协方差矩阵:
-
但本頁面沿用威廉·费勒的说法,把 稱為 的方差(variance of random vector),來跟 作區別。這是因為:
-
換句話說, 的對角線由隨機變數 的方差所組成。據此,也有人也把 稱為方差-协方差矩阵(variance–covariance matrix)。
更有人因為方差和离差的相關性,含混的將 稱為离差矩阵。
有以下的基本性质:
-
- 是半正定的和对称的矩阵。
-
-
-
-
-
- 若 ,則有
-
- 若 与 是独立的,則有
-
尽管共變異數矩阵很简单,可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看,也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。
这个方法在统计学中被称为主成分分析(principal components analysis),在图像处理中称为Karhunen-Loève 变换(KL-变换)。
多元正态分布的共變異數矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做 矩阵的迹更好的原因。参见共變異數矩阵的估计。