(1)确定性事件,即P =1时,信息量应当为0 (2)事件出现的概率越小,信息量应当越大,反之亦然(3)自信息量为非负的(4)两个相互独立事件联合自信息量应等于它们各自(1)信息是可以识别的(2)信息的载体是可以转换的(3)信息是可以存贮的(4)信息是可以传递的(5)信息是可以加工的(6)信息是可以共享的1.1自信息通信系统模型信源的分类概率论基础
一个很好的缩减量级的方法就是取对数,对概率的倒数取对数。而且这种方式也满足了当概率为1,信息量为0的条件。如果以10为底的话,那么发生概率为10^-6的事件信关于自信息量的性质,正确的是( )。A.概率为0时,规定自信息量为0。B.自信息量具有可加性:C.自信息量具有非负性。D.自信息量的可加性可推广到N维空间。
即:两个相互独立事件并事件的自信息量等于这两个事件自信息量的和。非负性:由于p(a_i)\in \left[ 0,1 \right],所以I(a_i)\geq 0。自信息量I(a_i)=-log_{2}p(a_i)的图像:图2-4 自信息是相对的,相对于观察者对该事物的了解程度而言。若会这道题ABCD,则别人提供的正确答案提供的信息量为0bit。若不会,则提供了2bit。下面以一个例子进行说明,假设一个暗箱有3个红
当概率趋近于1时,自信息量等于0。3)由两个相对独立的不同的信息所提取出的自信息量应等于它们分别提供的自信息量之和,即自信息量满足可加性。3. 互信息:一个事件所给出关于另一1一、必然事件和不可能事件的自信息量都是0 。) 2必然事件和不可能事件的自信息量都是0 。) 3必然事件的自信息是,不可能事件的自信息量是。4确定事件传递的信息量为