自信息量-read 系统标签：信息量确定性离散先验符号参数集信源模型信源模型不确定性与信息不确定性与信息熵与平均互信息熵与平均互信息扩展信源扩展信源离散(1) 自信息量自信息量反应的是某一条消息发生的不确定性，在通信系统中用来描述信源发出一种符号的不确定性。这种不确定性是和概率有关的，而且不确定性程度越
o(╯□╰)o 2.自信息量的概念(描述随机事件的信息量(不确定性)) 一个信源(随机事件)发出某一符号，产生某一确定的结果以后所带来的信息量称为自信息量，表示为I(a_i)=-log_{2}p(a_i),它与符号出空间来描述：如果信源发出消息的概率为，则它所能提供自信息量自信息(简称自信息包含两方面的含义：loglog当信源输出消息以后，提供给信宿的信息量，即消除上述不
自信息的物理含义I[P(xi)] 的大小表示xi这个事件发生之前，xi发生的不确定性。I[P(xi)] 还可以表示xi这个事件发生之后，xi所提供的信息，自信息由此而来，它表自信息量单位的物理含义说明意义：的不确定性可用2位二进制数字来度量或1位四进制数字来度量。例随机变量，各符号的概率相等，则各符号的自信息量相等：Bit/
平均互信息量其物理意义：1)信源的先验不确定度- 信道疑义度2)信宿熵- 信道噪声3)通信前的熵- 通信后产生统计性联系的熵image.png 信道容量信道转移矩自信息的物理意义（1）是随机事件发生所提供的信息量。（2）反映了随机事件的不确定性大小。定理1.2（自信息的性质）1. 单调性：I(A)是概率p(A)的严格递减函数。2. 非负性
