聯合是一集變量之間不確定性的衡量手段。

獨立的(H(X),H(Y)), 聯合的(H(X,Y)), 以及一對帶有互信息 I(X; Y) 的相互關聯的子系統 X,Y 的條件熵。

定義

編輯

兩個變量   的聯合信息熵定義為:

 

其中     的特定值, 相應地,   是這些值一起出現的聯合概率, 若  為0,則  定義為0。

對於兩個以上的變量   ,該式的一般形式為:

 

其中    的特定值,相應地,  是這些變量同時出現的概率,若 為0,則   被定義為0.

性質

編輯

大於每個獨立的熵

編輯

一集變量的聯合熵大於或等於這集變量中任一個的獨立熵。

 
 

少於或等於獨立熵的和

編輯

一集變量的聯合熵少於或等於這集變量的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在  均為統計獨立的時候相等。

 
 

與其他熵測量手段的關係

編輯

條件熵的定義中,使用了聯合熵

 

互信息的定義中也出現了聯合熵的身影:

 

量子信息理論中, 聯合熵被擴展到聯合量子熵英語joint quantum entropy