從機率論可知我們可用一個隨機變量 來描述自然界中的隨機事件,若 的取值為連續,則 為連續型隨機變量;若 的取值為離散,則 為離散型隨機變量。對於隨機變量 ,我們一般用它的分布函數及機率密度來描述。
對於隨機變量 ,我們可用機率分布函數來表示,其數學描述為:
-
- 有以下最基本的性質:
-
-
-
- 若 ,則
若 為連續隨機變量,可定義機率密度函數:
-
明顯分布函數與密度函數的關係為:
-
密度函數有以下基本的性質:
-
-
-
定義隨機變量 的平均值:
-
定義隨機變量 的標準差的平方:
-
定義隨機變量 的平方平均數:
-
若 為離散隨機變數則以上運算變為求和。
定義隨機變數 的m階原點矩:
-
再定義隨機變數 的m階中心矩:
-
平均值、標準差及矩都是隨機變量的數字特徵,可利用它們來描述隨機變數,例如平均值可代表 取值的中心位置,標準差表示了 的取值相對平均值的分散程度。
N個隨機變量組成的向量 稱為隨機向量,它是研究多個隨機變量的聯合分布以及進一步將隨機變量理論推廣到隨機訊號的重要工具。隨機向量的平均值為各分量的平均值所組成的平均值向量:
-
而標準差的平方會形成矩陣:
-
式中 稱為分量 與 之間的共變異數。
為了了解接下來的說明因此我們需要舉一個例子。現在想像一個直流放大器的輸出,當輸入接地時輸出應該為零,然而現實中放大器會產生雜訊使得輸出不為零,該雜訊就是一個隨機訊號,因此當我們在相同的條件下獨立地進行多次觀察時,各次觀測到的結果應該互不相同。為了全面地了解輸出雜訊的特性,我們應該要在相同的條件下,獨立地盡可能做多次的觀測,這相當於在同一時刻對盡可能多的相同放大器各做一次觀察一樣。這樣我們每一次的觀察都能得到一個記錄 ,其中 。如果我們把對雜訊電壓的觀測看做為一個隨機試驗,那麼每一次的記錄都是該隨機試驗的一次實現,其結果 就是一個樣本函數。所有樣本函數的集合 就構成了雜訊電壓可能經歷的整個過程,該集合就是一個隨機訊號 。
對一個特定的時刻,例如 顯然 是一個隨機變量,它相當於在某一固定時刻同時測量無限多個相同放大器的輸出電壓,對於任一固定的時刻,輸出電壓也是一個隨機變量。因此一個隨機訊號 是與時間相關的隨機變量,接下來我們可用隨機變量來描述隨機訊號。當t在時間軸上取值 時,我們可得到m個隨機變量 ,顯然要描述這m個隨機變量最全面的方法是利用m維機率分布函數或機率密度:
-
當m趨近於無限大時上式能完整地描述了隨機訊號 。但是在工程上要得到隨機訊號的高維分布函數或機率密度是相當繁瑣的,因此在實際工程問題中對於隨機訊號的描述除了採用低維的分布函數或機率密度之外還使用了平均值、標準差或矩等數字特徵。對上述例子中的隨機訊號 離散化,我們得到離散隨機訊號 (以下簡記為 ),對 的每一次實現,記為 代表時間, 代表實現的序號,即樣本數。對於 可有如下四種不同的解釋:
- 若n固定,則 相對純量i的集合為n時刻的隨機變量
- 若i固定,則 相對純量n的集合構成一個一維的離散時間序列,即
- 若n固定,i也固定,則 是一個具體的數值
- 若n為變量,i也為變量,則 是一個隨機訊號
顯然 的平均值、標準差等數字特徵均是時間n的函數,平均值可表示為
-
標準差的平方為
-
平方平均數為
-
的自相關函數定義為
-
共變異函數定義為
-
上面五式的求均值運算體現了隨機訊號的集總平均,該集總平均是由 的無限多樣本 在相應時刻對應相加(或相乘後再相加)來實現的。其中自相關函數 描述了訊號 在這 兩個時刻的相互關係,是一個重要的統計量。若 則:
-
-
對兩個隨機訊號 其相關函數和共變異函數分別定義為:
-
-
接著介紹幾個在訊號處理中常用的一些概念。由於隨機訊號 可以看成是無限維度的隨機向量,因此如果 則稱 是獨立同分布(independent and identically distributed,I.I.D.)的隨機訊號。如果 在任何不同時刻的共變異數都為零,即:
-
將兩者的聯合機率密度和其各自機率密度有如下關係:
-
則稱 和 是統計獨立的。進一步若 和 是相同的函數,則稱 和 是I.I.D.的隨機訊號。如果 我們稱訊號 和 是不相關的。由於:
-
所以若 和 是不相關的,必有 即 如果:
-
我們稱訊號 和 是互相正交的。