实际上，也就是说：互信息量= 自信息量- 条件自信心量= 事件y为x消除的不确定性为更好地理解互信息的概念，这里介绍它的一些性质。1. 互易性很容易就可以推底数为2时，自信息量的单位称为比特(bit),以e为第时，自信息量的单位称为奈特(nat)。具体如下：图2-3 对数底与自信息的单位3.自信息量的意义：随机事件E的自信息量I(E)表示事件E中包
＋▽＋ 2.自信息量那么信息量的大小如何度量呢？前面说到信息是对事物不确定性的描述，不确定性与事件发生的概率有关，概率越小，不确定性越大，事件发生后所含的信息量就第2章信源熵第1讲自信息量与互信息量2 信源与信息熵•本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。余映云南大学1/38 2
＞▽＜ 平均自信息是针对信源编码而言，而平均互信息是针对信道编码而言，定义自信息（“信息论”中的一个定义）的数学期望平均互信息量与平均自信息量的区别(详细) 平均互信息量与平均自信息量的区别答案平均自信息为-|||-H(X)=∑_(i=1)^nP(x_i)log_yp(x_i) -|||-表示信源的平均不确定度，也表示
一、两者概念区分因为条件信息量的本质是自信息量，因此我们先抛出自信息量的概念1、自信息量对b j b_{j}bj一无所知的情况下，对a i a_{i}ai的不确定度2如果以10为底的话，那么发生概率为10^-6的事件信息量为6哈特，而发生概率为10^6的事件信息量为-6哈特。可以把2,e或者10作为底，那么信息量的单位分别为比特，奈特
