靈感突至。終于搞懂信息熵裡對數的含義。信息熵公式-p(x)logp(x)（這個對數以2為底，前面還有個求和符号，手機打不出）。
如果用計算機的bit來理解，比如說一門語言隻有ABCD四個字母，而且知道它們各自在語言中的概率分布p(x).-logp(x)剛好等于某字母一個需要的bit數，比如A的概率分布是1/2，那一個A需要1個bit。
但是為什麼？
其實并不複雜，但我當時沒有想，過了幾天，突然靈感來臨。分享下。
因為p（x）是十進位表達，而信息熵是用于計算機的理論，計算機是用二進位表達的。所以以2為底的對數就是為了看看概率p(x)變成2進位有幾位。準确講是概率的倒數，因為概率小于1，對數小于0，負幾位沒意義，但倒數大于1，其對數大于0。這也應該是加負号的原因。
例如1/p(x)=2^7，對數就是7，2^7用二進位表達是8位，比7多1。更一般的1/p(x)=2^n，對數是n，二進位的2^n是n 1位。當然以上是整數，n也可能是小數，熟悉對數的就知道，整數部分叫首數，小數部分叫尾數。首數決定整數部分的位數，小數決定數是多少。如n=2.7326，由2知道位數是3，由0.7326可以知道數是多少。
如果n=2小數部分是零表明該數除了最大一位是1外，剩下兩位都是0。
這樣-logp(x)的含義就比較明确了。
更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!
zpostcode 
Recruit 
weather 
mreligion 
Yellowpages 
sport 
constellation 
shopping 
name 
game 
directory 
literature 
Word 
tour 
furnish 
Lottery 
tftnews 
lyrics 
News 
digital 
car 
dir 
Edu 
Finance 
