首先分析题意，信源是无记忆的，因此发出的各消息之间是互相独立的，此时发出的消息的自信息量即为各消息的自信息量。02 当a0=0时，求出它包含的信息量为1.415。03 当a1=1时，求出它包通常信源的消息序列是随机发生的，因此要用随机变量来描述。通信系统模型信源干扰源信宿信源编码器调制器信源译码器解调器信道编码器信道编码信道信道译码器编码器：把消息变换成适合于
通常信源的消息序列是随机发生的，因此要用随机变量来描述。通信系统模型信源干扰源信宿信源编码器调制器信源译码器解调器信道编码器信道编码信道信道译码器编码器：把消息变换成适合于一个信源(随机事件)发出某一符号，产生某一确定的结果以后所带来的信息量称为自信息量，表示为I(a_i)=-log_{2}p(a_i),它与符号出现的概率倒数成对数函数关系。附：对数函数的底一般取
⊙﹏⊙‖∣° 因此，可以把对所有可能消息的最小二进制编码位数近似着作该随机事件的熵，记为H。对于上面的例子分别有定义2.3随机事件，发生概率的对数的相反数定义为该随机(2)信息的载体是可以转换的(3)信息是可以存贮的(4)信息是可以传递的(5)信息是可以加工的(6)信息是可以共享的1.1 自信息通信系统模型信源的分类概率论
平均互信息量：平均意义上的互信息量I(X;Y)=\sum_{i,j}p(x_i,y_j)\log\frac{p(x_i|y_j)}{p(x_i)} I(X;Y)=H(X)-H(X|Y) 不等关系：H(X|Y)\le H(X) H(XY)\le H(X)+H(Y) 关系：H(X,Y)=是可以转换的(3)信息是可以存贮的(4)信息是可以传递的(5)信息是可以加工的(6)信息是可以共享的，信息具有以下特征，1.1 自信息，通信系统模型信源的分类概率论基础信息的可度量
