信息，就是出人意料，而出人意料其實講的是概率。

——坤鵬論

從今天開始，坤鵬論将進入到階段性的思考整理。

脈絡将是從信息熵，到熵，再到複雜性科學，一直回到這個系列的起點塔勒布的《反脆弱》。

一、這是一個概率的世界

随着不斷地學習與思考，坤鵬論越來越感覺到，香農的信息熵與熱力學的熵，基本就是一回事。

熱力學的熵，還有後來由其派生出來的麥克斯韋妖，其最重要的貢獻以及開創是：

由概率到統計，再到脫離成為普适的自然規律，信息熵亦然。

寫到這裡，坤鵬論突然有些頓悟——這所有的一切皆因為我們的世界、我們的宇宙完全是在概率統治之下。

那麼，這個世界的最強法則應該是概率。

我們常說，除了死亡，一切皆有概率！

但是，如果不以肉體消滅為标準，而是從基因和遺傳信息的角度看（想想之前坤鵬論舉過的柳絮的例子），那真的是一切都有着概率。

既然如此，隻要牢牢把握住概率這條真理，從它出發，堅定地前行，都能夠獲得不菲的成就。

那麼——

不管是熵；

還是信息熵；

亦或者複雜性科學、複雜性系統；

其實都不過是概率下的蛋！

所以，不是它們牛，不是它們是自然規律。

而是它們摸到了支撐這個世界背後的真理——概率。

盡管都隻能算是一方面，一點點。

并且，但凡能夠理解概率，并應用到實踐，都是很牛的事和很牛的人。

比如：保險、賭博、金融、投資等。

比如：巴菲特、索羅斯等投資大師，他們成功的關鍵就在于——風險的管理。

而概率就是風險的數學語言。

所有投資，不管是價值投資，還是投機。

隻要是投入今天的錢購買未來，哪怕未來就是下一秒，都會有概率，都有風險。

所以，這種行為應該統一稱為風險投資，或者概率投資。

而以概率為靈魂的學科則可以被視為人類探究概率的工具，比如：統計學。

統計力學也是，信息論也是。

沒有概率，它們都不可能存在！

二、無序？不确定性？其實都是概率

正如上面所說，概率才是這個世界至高的規律。

所以，隻有從概率的角度去理解熵、信息熵，才能算是本質級的理解。

下面，坤鵬論就以信息熵為例說明一下。

香農用熵度量的是不确定性。

而維納則用熵度量無序程度。

如果站在概率的高度，就知道它們從根本上就是一回事。

一段文字的内在有序性越強，其可預測性也就越高。

換用香農的話來說，也就是後續字母所傳遞的信息量越少。

如果你對下一個字母是什麼，信心十足，那麼這個字母就是冗餘的，它的出現沒有貢獻新的信息。

信息，就是出人意料！

而出人意料其實講的是概率。

比如：在英語中，如果緊跟在字母t之後的是字母h，那麼信息量就不大，因為字母h在此出現的概率相對較高。

而不管是維納的無序度，還是香農的不确定性度，但它們都叫熵，這已經證明了，它們和熱力學的混亂程度是一個意思。

我們再來重溫理解一下，為什麼熵越大混亂程度越大？

什麼時候熱力系統中沒有熵呢？

就是隻有一種微觀态的時候。

這時的概率是1，其他微觀态的概率為0，這就是完全的有序，沒有混亂度。

那什麼時候系統中熵最大？

自然是所有微觀态的概率相等的時候。

這時，系統對于取什麼微觀态沒有偏向性，所以混亂度最大。

接着，我們再理解，為什麼熵越大，信息量越大？

因為熵越大，系統承載信息的能力越大。

道理很簡單！

所有微觀态等概率出現時，也就是系統中存在着所有微觀态。

将微觀态直接視為信息，想想看，明白了嗎？

而一個熵為0的系統隻能取一個微觀态，自然承載不了任何信息。

因為，信息是消除不确定性的東西，一個微觀态自然就沒有不确定性，自然就能閉着眼選擇，根本不用”還能說什麼“，自然也就沒有信息了，也就沒了”還能說多少“——信息量。

然後，我們再理解，為什麼信息熵中，語言越”混亂“，信息量越大？

這最好從語言的上下文關聯度來分析。

英文單詞中的字母相關度很高，比如：ing、tion，以及各種前綴後綴。

因為相關度大，所以就算從ing、tion中拿掉一個字母，也完全不會影響閱讀。

顯然說明了這些組合中單個字母提供的信息量很小。

而中文的上下文關聯度低很多，所以，單個漢字信息量大。

由此，結論就是：

上下文關聯度越高，也可以理解為符号系統越有序，不确定性程度越低；

上下文關聯度越低，也可以理解為符号系統越無序，不确定性程度越高。

因此，将信息的不确定性用熵來命名再恰當不過，它和統計力學中的熵，就是同一個問題——概率。

還記得坤鵬論在複雜性科學中講過的混沌邊緣嗎？

那是一種最好的系統狀态。

琢磨一下，有沒有發現語言其實也符合混沌邊緣的道理。

簡單聯想一下就能明白。

假設一群人開會，人們越是意見不一緻，越是混亂，人們越希望表現自己的意見，于是大量信息會不斷産生。

而往往正是這樣的會議才證明了公司的活力四射。

最可怕的會議是，隻有有序，沒有混亂。

也就是隻有領導滔滔不絕，其他人全都默不作聲。

所以，複雜性系統同樣也是概率的問題。

這可能就是傳說中的融會貫通，大道至簡，殊途同歸吧！

三、麥克斯韋妖

坤鵬論曾經講過《人類就是麥克斯韋妖》。

在這個著名的思想實驗中，麥克斯韋妖在密閉容器中所做的隻是控制閘門。

它如何控制閘門？

分子過來時，它會根據它運動的速度和軌迹，判斷是快分子，還是慢分子，從而選擇是否開閘門。

而分子運動的速度和軌迹，就是信息。

也就是說，麥克斯韋妖根據獲得的信息作出選擇。

它每處理一個分子，都是做了一次信息與能量的轉換。

提出這個觀點的齊拉特的貢獻非常偉大，因為自此之後，信息也是物理的了。

正如布裡淵所論述的，麥克斯韋妖要看得清楚分子，不可能摸黑進行，必須要有燈光照在分子之上，光被分子散射，而被散射的光子被麥克斯韋妖的眼睛吸收，這樣它才會看清。

這意味着，麥克斯韋妖不做功，要使系統熵減少，必須獲得信息，這需要通過（眼睛）吸收外界能量實現。

因此，麥克斯韋妖這個思想實驗的先決條件——密閉被打破了。

自此容器不再密閉，而是可以接收外部能量。

也隻有這樣，麥克斯韋妖才能幹活。

我們可以這樣設想修改版的麥克斯韋妖：

外部注入能量，使得麥克斯韋妖看得清分子，從而獲得它們的運行速度和軌迹信息，根據信息，麥克斯韋妖做出是否開閘門的選擇。

這是一個能量轉換為信息，信息再轉換為能量的過程。

有了上面這個基礎，我們再來看香農的信息論和信息傳輸模型。

你會發現其實就是麥克斯韋妖實驗的現實翻版。

容器：所有可能訊息組成的集合

分子：字符

麥克斯韋妖：信宿，接收者

外部能量：信源

麥克斯韋妖的功能是在獲得分子運動的信息後，通過操作閘門做出選擇，分離快分子和慢分子，從而減少系統的熵。

一個信息集合的接收者同樣也是在接收到信源的訊息後，做出選擇，減少信息集合的信息熵（不确定性）。

并且，不管是麥克斯韋妖還是接收者，他們都很單純地做着是或否的二元選擇題。

麥克斯韋妖隻關心是快還是慢。

接收者隻關心不确定性和确定性。

四、接收者＝麥克斯韋妖

自從香農提出信息論後，他迅速成為了學術圈内的當紅人物，享有偶像級的聲望。

有時，他還會到大學和博物館就“信息”進行通俗的演講。

在這些演講中，他曾引用過《新約·馬太福音》第5章第37節的話：

“你們的話，是，就說是；不是，就說不是；若再多說，就是出于那惡者。”

這就牽扯出了信息熵另一個定義，它是通過隻允許回答是或否的問題，來猜出一條未知信息時所需問問題的平均數目。

坤鵬論認為這個講成實例，很容易讓人理解信息熵是怎麼一回事，那就不厭其煩地分享給大家，希望大家也不厭我煩地讀一讀。

假設你是麥克斯韋妖，如果分子是一快一慢成對過來，表面上看不出區别。

那麼，你需要提幾個問題可以知道它們的狀态呢？

對的，隻需要一個問題。

你可以問：“A是快（慢）分子嗎？”；

或者問：”B是快（慢）分子嗎？“

如果對面一下子來了A、B、C、D四個一模一樣的分子，其中隻有一個是快分子，你需要提幾個問題來确定它？

有人可能會下意識地說，4個！

慣性思維害人呀。

明智的提問方法是二分法。

你可以先問：A和B中有一個是快分子，對嗎？

分子回答說：是。

你可以接着問，快分子是不是A（或B）？

分子回答說：否。

那你就知道答案肯定是B。

整個過程，一共2個問題。

如果答案不是A，也不是B。

答案自然就在C和D中間，你隻需要再問：快分子是不是C？

分子回答說：否。

你自然就知道正确答案是D了。

還是提兩個問題搞定。

也就是，如果4選1，你平均需要提兩個問題能夠得到确定答案。

顯然，你提問題的過程，就是在消除自己對分子的不确定性。

香農将對于分子的不确定性稱為信息熵。

為了衡量信息熵，香農建立起了它與概率的數學關系，也就是從不确定性到确定性，需要提出問題的平均數量。

因此，上面的例子中，兩個等概率的分子，提一個問題知道答案，信息熵就是1比特，四個等概率的分子，提兩個問題知道答案，信息熵就是2比特。

坤鵬論以此為例，換個角度再講一遍信息熵，其目的是，回到初心，回到熱力學的熵，回到熵與信息發生關系的麥克斯韋妖，最終回到概率！

本文由“坤鵬論”原創，轉載請保留本信息

請您關注本頭條号，坤鵬論自2016年初成立至今，創始人為封立鵬、滕大鵬，是包括今日頭條、雪球、搜狐、網易、新浪等多家著名網站或自媒體平台的特約專家或特約專欄作者，目前已累計發表原創文章與問答6000餘篇，文章傳播被轉載量超過800餘萬次，文章總閱讀量近20億。

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部