未经统计平均的不确定性，包括自信息量、条件自信息量、联合自信息量；自信息的概念有点像熵，都是表示不确定性的一个量，自信息不是信息，互信息量才是信息，而是先验不确定性，另外注意条件自信息量与互信息量的区别前言一、两者概念区分1、自信息量2、条件信息量3、互信息量二、两者公式1、条件信息量2、互信息量总结前言在学习过程中
一、两者概念区分因为条件信息量的本质是自信息量，因此我们先抛出自信息量的概念1、自信息量对b j b_{j}bj一无所知的情况下，对a i a_{i}ai的不确定度2互信息和信息熵的关系是，通常我们使用的最大化互信息条件，就是最大化两个随机事件的相关性。在数据
特殊性质：如上文提到的自信息量的可加性，当两个随机事件a_i、b_j相互独立时，其联合互信息等于两者的互信息之和，I(a_ib_j)=I(a_i)+I(b_j) 3.条件自信息量的概念：顾名思义，一个条件就这么简单，可以看出，互信息，本身从定义上，就只是自信跟条件自信息的附属。数学表达式的意思是：事件X, Y之间的互信息就是，指事件X的自信息跟事件Y已知的条件下，事件X的自
联合自信息量：条件自信息量：通俗一点来说的话，就是概率论中很简单的推广就行了。有概率基础的话，这个很容易理解。这里因为实际上面使用二维的更多一点就以二当互信息量为正时，两事件呈正相关，互相有促进作用；当互信息量为负时，两事件呈负相关，互相有抑制作用；而当互信息量为0时，两事件无联系，相互独立。需要注意的是，互信息量为正并不意味
ˋ＾ˊ〉-# 离散随机事件之间的互信息：换句话说就是，事件x,y之间的互信息等于“x的自信息”减去“y条件下x的自信息”。I(x)表示x的不确定性，I(x|y)表示在y发生条件下x的不确定性，I(x就这么简单，可以看出，互信息，本身从定义上，就只是自信跟条件自信息的附属。数学表达式的意思是：事件X, Y之间的互信息就是，指事件X的自信息跟事件Y已知的条件
