H ( x ) H(x)H(x)称为集X XX的平均自信息量，又称作是集X XX的信息熵，简称熵。其表示了集X XX中事件出现的平均不确定性，几位了确定集X XX中出现的一个事件平均第2章信源熵第2讲信源熵(平均自信息量)与平均互信息量
一、自信息量与平均互信息的异同点
离散信源信息量、平均信息量的计算信息量I与消息出现的概率P(x)之间的关系：1.信息量是概率的函数，即I=f[P(x)]; 2.P(x)越小，I越大，P(x)越大，I越小；3.若干个平均自信息是针对信源编码而言，而平均互信息是针对信道编码而言，定义自信息（“信息论”中的一个定义）的数学期望
二、平均自信息量和平均互信息量的异同
虽然自信息量和互信息量都是信息论中的概念，但它们之间也存在关系。首先，数据集的自信息量可以用来估算数据集的互信息量。通常，自信息量越低，互信息量越高。其次，互信息量也下面讨论信源的总体不确定性，或者每输出一个消息符号所能够提供的信息量平均值，即平均信息量，也称为熵。熵定义自信息量的数学期望为信源的平均自信息量，也称为熵当p=0.5时
三、平均自信息量和平均互信息量
对于一个固定的信源，一定存在着一种信源，使得输出端获得的平均信息量最大；对于一个固定的信源，一定存在着一种最差的信道，使得输出端获得的平均信息量最小。3.2 平均互信息量与各类(即信息系统如信源或信道),其概率模型为xi,p(xi),则定义系统X 的平均自信息量熵为：Xxx iiii def ii xpxpxIxpXH)(log)()()( 熵的单位是比特/符号. 我们知道，I(xi)是唯一确定xi所需
