平均信息量的計算公式是I=log2(1/p),其中p是概率,log2指以二為底的對數。但對信息量作深入而系統研究,還是從1948年C.E.香農的奠基性工作開始的。在信息論中,認為信源輸出的消息是随機的。
信息量與信息熵在概念上是有區别的。在收到符号之前是不能肯定信源到底發送什麼符号,通信的目的就是使接收者在收到符号後,解除對信源存在的疑義(不确定度),使不确定度變為零。這說明接收者從發送者的信源中獲得的信息量是一個相對的量(H(U)-0)。而信息熵是描述信源本身統計特性的物理量,它表示信源産生符号的平均不确定度,不管有無接收者,它總是客觀存在的量。
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!