在统计学与概率论中,协方差矩阵(covariance matrix)是一个方阵,代表着任两列随机变量间的协方差,是协方差的直接推广。
中心为 (0, 0) 的一个二元高斯概率密度函数,协方差矩阵为 [ 1.00, 0.50 ; 0.50, 1.00 ]。
一个左下右上方向标准差为 3,正交方向标准差为 1 的多元高斯分布的样本点。由于 x 和 y 分量共变(即相关),x 与 y 的方差不能完全描述该分布;箭头的方向对应的协方差矩阵的特征向量,其长度为特征值的平方根。
定义 —
设 是概率空间, 与 是定义在 上的两列实数随机变量序列
若二者对应的期望分别为:
-
-
则这两列随机变量间的协方差矩阵为:
-
将之以矩形表示的话就是:
-
-
根据测度积分的线性性质,协方差矩阵还可以进一步化简为:
-
以上定义所述的随机变量序列 和 ,也可分别以用行向量 与 表示,换句话说:
-
这样的话,对于 个定义在 上的随机变量 所组成的矩阵 , 定义:
-
也就是说
-
那上小节定义的协方差矩阵就可以记为:
-
所以协方差矩阵也可对 与 来定义:
-
也有人把以下的 称为协方差矩阵:
-
但本页面沿用威廉·费勒的说法,把 称为 的方差(variance of random vector),来跟 作区别。这是因为:
-
换句话说, 的对角线由随机变量 的方差所组成。据此,也有人也把 称为方差-协方差矩阵(variance–covariance matrix)。
更有人因为方差和离差的相关性,含混的将 称为离差矩阵。
有以下的基本性质:
-
- 是半正定的和对称的矩阵。
-
-
-
-
-
- 若 ,则有
-
- 若 与 是独立的,则有
-
尽管协方差矩阵很简单,可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看,也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。
这个方法在统计学中被称为主成分分析(principal components analysis),在图像处理中称为Karhunen-Loève 变换(KL-变换)。
多元正态分布的协方差矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做 矩阵的迹更好的原因。参见协方差矩阵的估计。