聯合熵是一集變量之間不確定性的衡量手段。
兩個變量 和 的聯合信息熵定義為:
-
其中 和 是 和 的特定值, 相應地, 是這些值一起出現的聯合概率, 若 為0,則 定義為0。
對於兩個以上的變量 ,該式的一般形式為:
-
其中 是 的特定值,相應地, 是這些變量同時出現的概率,若 為0,則 被定義為0.
一集變量的聯合熵大於或等於這集變量中任一個的獨立熵。
-
-
一集變量的聯合熵少於或等於這集變量的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在 和 均為統計獨立的時候相等。
-
-
在條件熵的定義中,使用了聯合熵
-
互信息的定義中也出現了聯合熵的身影:
-
在量子信息理論中, 聯合熵被擴展到聯合量子熵。