从几率论可知我们可用一个随机变量 来描述自然界中的随机事件,若 的取值为连续,则 为连续型随机变量;若 的取值为离散,则 为离散型随机变量。对于随机变量 ,我们一般用它的分布函数及几率密度来描述。
对于随机变量 ,我们可用几率分布函数来表示,其数学描述为:
-
- 有以下最基本的性质:
-
-
-
- 若 ,则
若 为连续随机变量,可定义几率密度函数:
-
明显分布函数与密度函数的关系为:
-
密度函数有以下基本的性质:
-
-
-
定义随机变量 的平均值:
-
定义随机变量 的标准差的平方:
-
定义随机变量 的平方平均数:
-
若 为离散随机变数则以上运算变为求和。
定义随机变数 的m阶原点矩:
-
再定义随机变数 的m阶中心矩:
-
平均值、标准差及矩都是随机变量的数字特征,可利用它们来描述随机变数,例如平均值可代表 取值的中心位置,标准差表示了 的取值相对平均值的分散程度。
N个随机变量组成的向量 称为随机向量,它是研究多个随机变量的联合分布以及进一步将随机变量理论推广到随机讯号的重要工具。随机向量的平均值为各分量的平均值所组成的平均值向量:
-
而标准差的平方会形成矩阵:
-
式中 称为分量 与 之间的共变异数。
为了了解接下来的说明因此我们需要举一个例子。现在想像一个直流放大器的输出,当输入接地时输出应该为零,然而现实中放大器会产生噪声使得输出不为零,该噪声就是一个随机讯号,因此当我们在相同的条件下独立地进行多次观察时,各次观测到的结果应该互不相同。为了全面地了解输出噪声的特性,我们应该要在相同的条件下,独立地尽可能做多次的观测,这相当于在同一时刻对尽可能多的相同放大器各做一次观察一样。这样我们每一次的观察都能得到一个记录 ,其中 。如果我们把对噪声电压的观测看做为一个随机试验,那么每一次的记录都是该随机试验的一次实现,其结果 就是一个样本函数。所有样本函数的集合 就构成了噪声电压可能经历的整个过程,该集合就是一个随机讯号 。
对一个特定的时刻,例如 显然 是一个随机变量,它相当于在某一固定时刻同时测量无限多个相同放大器的输出电压,对于任一固定的时刻,输出电压也是一个随机变量。因此一个随机讯号 是与时间相关的随机变量,接下来我们可用随机变量来描述随机讯号。当t在时间轴上取值 时,我们可得到m个随机变量 ,显然要描述这m个随机变量最全面的方法是利用m维几率分布函数或几率密度:
-
当m趋近于无限大时上式能完整地描述了随机讯号 。但是在工程上要得到随机讯号的高维分布函数或几率密度是相当繁琐的,因此在实际工程问题中对于随机讯号的描述除了采用低维的分布函数或几率密度之外还使用了平均值、标准差或矩等数字特征。对上述例子中的随机讯号 离散化,我们得到离散随机讯号 (以下简记为 ),对 的每一次实现,记为 代表时间, 代表实现的序号,即样本数。对于 可有如下四种不同的解释:
- 若n固定,则 相对标量i的集合为n时刻的随机变量
- 若i固定,则 相对标量n的集合构成一个一维的离散时间序列,即
- 若n固定,i也固定,则 是一个具体的数值
- 若n为变量,i也为变量,则 是一个随机讯号
显然 的平均值、标准差等数字特征均是时间n的函数,平均值可表示为
-
标准差的平方为
-
平方平均数为
-
的自相关函数定义为
-
共变异函数定义为
-
上面五式的求均值运算体现了随机讯号的集总平均,该集总平均是由 的无限多样本 在相应时刻对应相加(或相乘后再相加)来实现的。其中自相关函数 描述了讯号 在这 两个时刻的相互关系,是一个重要的统计量。若 则:
-
-
对两个随机讯号 其相关函数和共变异函数分别定义为:
-
-
接着介绍几个在讯号处理中常用的一些概念。由于随机讯号 可以看成是无限维度的随机向量,因此如果 则称 是独立同分布(independent and identically distributed,I.I.D.)的随机讯号。如果 在任何不同时刻的共变异数都为零,即:
-
将两者的联合几率密度和其各自几率密度有如下关系:
-
则称 和 是统计独立的。进一步若 和 是相同的函数,则称 和 是I.I.D.的随机讯号。如果 我们称讯号 和 是不相关的。由于:
-
所以若 和 是不相关的,必有 即 如果:
-
我们称讯号 和 是互相正交的。