计算机科学

首页 > 计算机科学

联合熵

2018-08-27 10:29:21     所属分类:信息学熵
独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

联合熵是一集变量之间不确定性的衡量手段。

目录

  • 1 定义
  • 2 性质
    • 2.1 大于每个独立的熵
    • 2.2 少于独立熵的和
  • 3 与其他熵测量手段的关系

定义

两个变量 的联合信息熵定义为:

其中 的特定值, 相应地, 是这些值一起出现的联合概率, 若 为0,则 定义为0。

对于两个以上的变量 ,该式的一般形式为:

其中 的特定值,相应地, 是这些变量同时出现的概率,若为0,则 被定义为0.

性质

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

少于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在均为统计独立的时候相等。

与其他熵测量手段的关系

在条件熵的定义中,使用了联合熵

互信息的定义中也出现了联合熵的身影:

在量子信息理论中, 联合熵被扩展到联合量子熵英语joint quantum entropy

显示全文

取消

感谢您的支持,我会继续努力的!

扫码支持
无需打赏可直接关闭阅读全文
1分,2分不嫌少,钱不钱的无所谓,重要的是你的话语激励我前行!

愿你每天温暖如春!!!


上一篇:熵编码法
下一篇:李距离
相关推荐