联合熵是一集变量之间不确定性的衡量手段。
两个变量 和 的联合信息熵定义为:
-
其中 和 是 和 的特定值, 相应地, 是这些值一起出现的联合概率, 若 为0,则 定义为0。
对于两个以上的变量 ,该式的一般形式为:
-
其中 是 的特定值,相应地, 是这些变量同时出现的概率,若 为0,则 被定义为0.
一集变量的联合熵大于或等于这集变量中任一个的独立熵。
-
-
一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在 和 均为统计独立的时候相等。
-
-
在条件熵的定义中,使用了联合熵
-
互信息的定义中也出现了联合熵的身影:
-
在量子信息理论中, 联合熵被扩展到联合量子熵。