衆所周知，瓦特改良蒸汽機，使人類進入了“蒸汽時代；而麥克斯韋提出的電磁理論，則讓人類從蒸汽時代跨越到了電氣時代。而第三次信息革命，則是香農提出的香農定律吹響了變革的号角。

從 1948 年，香農定律的提出，标準着信息論的建立，美國之所以能夠對全球經濟具有話語權，除了是因為強大的軍事能力之外，還仰賴于香農定律構建的全球技術标準，讓美國成為新帝國的壟斷者。

從 1G 到 4G 時代，美國都是主導者，但到了 5G 時代，以華為為代表的中國企業異軍突起，争奪 5G 的全球領導權，這也是美國惱羞成怒的原因。

但不管怎麼樣，從技術的角度來看，主宰者從來隻有一個，那就是我們剛剛提到的香農公式，它才是5G幕後真正的大BOSS。香農定律誕生 70 年，是時候搞懂它了。

1850 年克勞修斯從熱機的效率出發，認識到正轉變（功轉變成熱量）可以自發進行，而負轉變（熱量轉變成功）作為正轉變的逆過程卻不能自發進行。負轉變的發生需要同時有一個正轉變伴随發生，并且正轉變的能量要大于負轉變，這實際是意味着自然界中的正轉變是無法複原的。

所以克勞修斯在論文中提出了一條基本定律：“沒有某種動力的消耗或其他變化，不可能使熱從低溫轉移到高溫。“這個定律被稱為熱力學第二定律。

克勞修斯在 1854 年的随筆《關于熱的力學理論的第二基礎定理的一個修正形式》提出了新的物理量來解釋這種現象,1865 年正式命名為熵,以符号S表示。

由此克勞修斯提出了熱力學第二定律的又一個表述方式，也被稱為熵增原理，那就是：不可逆熱力過程中熵的微增量總是大于零。在自然過程中，一個孤立系統的總混亂度（即“熵”）不會減小。

簡而言之就是孤立系統的熵永不自動減少，熵在可逆過程中不變，在不可逆過程中增加，可以說非常鮮明地指出了不可逆過程的進行方向。

熵增原理是熱力學第二定律的另外一種表述形式，卻又擁有更加深刻的含義，它創造了“熵”這個概念。

1865年，熱力學奠基人之一克勞修斯把熵增原理（熵增原理是熱力學第二定律的又一種表述）應用于無限宇宙中而提出“熱寂說”，熵增原理就是孤立熱力學系統的熵不減少，總是增大或者不變。用來給出一個孤立系統的演化方向。說明一個孤立系統不可能朝低熵的狀态發展即不會變得有序。（孤立體系是指：系統與環境之間既無物質交換，又無能量交換，故稱為孤立體系）

熱寂說将熵增原理擴大到整個宇宙，将整個宇宙當成一個孤立系統，認為宇宙的熵會趨向極大，最終達到熱平衡狀态，即宇宙每個地方的溫度都相等。

麥克斯韋在聽到熱寂說之後，立即腦洞大開，首先從概率統計的角度認真思考這個假說，意識到對于宇宙這種“開放系統”來說，一定存在某種機制，使得在某種條件下，會存在貌似“違反了”熱力學第二定律的情況。

1871年，他在《熱理論》一書的末章《熱力學第二定律的限制》中，設計了一個假想的存在物，即著名的“麥克斯韋妖” （Maxwell's demon）。

在麥克斯韋構想中，麥克斯韋妖有極高的智能，可以追蹤每個分子的行蹤，并能辨别出它們各自的速度。這個理想實驗如下：

“我們知道，在一個溫度均勻的充滿空氣的容器裡的分子，其運動速度決不均勻，然而任意選取的任何大量分子的平均速度幾乎是完全均勻的。現在讓我們假定把這樣一個容器分為兩部分，A和B，在分界上有一個小孔，在設想一個能見到單個分子的存在物，打開或關閉那個小孔，使得隻有快分子從A跑向B，而慢分子從B跑向A。這樣，它就在不消耗功的情況下，B的溫度提高，A的溫度降低，從而與熱力學第二定律發生了矛盾"。

而這個存在物就是“麥克斯韋妖”，小妖精掌握和控制着高溫系統和低溫系統之間的分子通道。它利用了分子運動速度的統計分布性質。因為根據麥克斯韋分布，即使是低溫區，也有不少高速分子，高溫的系統中也有低速度的分子，通過這樣一個能夠控制分子運動的小妖精，在兩系統的中間設置一個門，隻允許快分子從低溫往高溫運動，慢分子則從高溫往低溫運動，在“小妖”的這種管理方式下，兩邊的溫差會逐漸加大，高溫區的溫度會越來越高，低溫區的溫度越來越低。

麥克斯韋認為，隻有當我們能夠處理的隻是大塊的物體而無法看出或處理借以構成物體分離的分子時，熱力學第二定律才是正确的，并由此提出應當對熱力學第二定律的應用範圍加以限制。

1929 年匈牙利物理學家利奧·希拉德在研究麥克斯韋妖的時候，将麥克斯韋的設計方案簡化，構建了一個單分子版的實驗模型。

希拉德首次将信息的概念引入到熱力學循環中。小妖精進行測量的目的是為了獲得信息，從而知道分子是處于左邊還說右邊，而在這個獲取信息的過程中會消耗能量，從而導緻整體的熵的增加。如果把這個效果包含到熱力學循環中來，熱力學第二定律就不會被違反，那麼麥克斯韋妖就被斬殺了！

希拉德第一次認識到信息的物理本質，将信息與能量消耗聯系起來。可以說為後來的消息論奠定了基礎。

我們知道，自人類誕生之初，信息就已經産生，比如古代猿人通過聲音告訴同伴捕獵成功，這也是信息。但是千百年來從未有科學家對信息展開系統研究。人通過獲得、識别自然界和社會的不同信息來區别不同事物，得以認識和改造世界。在一切通訊和控制系統中，信息是一種普遍聯系的形式。

飛鴿傳書

而香農對信息的認知可以說開人類之先河，徹底颠覆了人類的認知。香農是一個天才，從小對數學就極為癡迷，香農十分熱衷于解答姐姐凱瑟琳交給他的數學題。

而到了 22 歲的時候，他發表的碩士論文《A Symbolic Analysis of Relay and Switching Circuits》（繼電器與開關電路的符号分析）就已經驚震世界。當時他已經注意到電話交換電路與 布爾代數 之間的類似性，即把布爾代數的“真”與“假”和電路系統的“開”與“關”對應起來，并用1和0表示。于是他用布爾代數分析并優化開關電路，這就奠定了數字電路的理論基礎。 如果說德布羅意的博士論文是世界上最偉大的博士論文，那香農的這篇就是世界上最偉大的碩士論文。

不過，香農的确是一個非常有趣的人，他曾因為獲得雜耍學博士而欣喜不已，到了晚年，依然熱衷于像人們展示自己鼓搗的各式各樣的小玩意小器械。

玩雜耍的香農

香農在貝爾實驗室為美國情報部門工作工作多年，在英文裡情報和信息的英文都是“information”。這讓他對于信息産生了獨特的理解。

當時香農在研究探讨信息的本質和通信的理論極限問題，比如什麼是信息，怎樣從數學上定義衡量信息，數據壓縮和數據傳輸可達到的極限在哪裡。

香農認為信息是能夠用來消除不确定性的東西，舉一個不是很恰當的例子，我不知道我這次考試的分數是多少，但是老師給我發了一個信息告知了我，我立馬做出決定不告訴我媽這次的成績，這其實就是一個獲取新信息、消除不确定性的過程，這個過程可以看做是信息論原理的一個具象呈現。

香農本來打算直接用“不确定性”（uncertainty）來表達這個概念，但是這個概念太過于模糊，不确定性究竟指的是什麼東西，它的意義是什麼，就很難說明白。

當他和馮·諾伊曼讨論這個問題時，馮·諾伊曼對香農建議說：“你應該把它稱之為‘熵’。”并給出兩個理由，一是“不确定性”這個概念已被用于統計力學，二是沒有人知道“熵”到底是什麼，不緻引發争論。

所以香農熵由此誕生，香農指出信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。通俗的講信息熵是用來衡量信息量的大小。

• 若不确定性越大，則信息量越大，熵越大。
• 若不确定性越小，則信息量越小，熵越小。

在之前，克勞修斯提出的“熵”，最初是用來描述“能量退化”的物質狀态參數之一，僅僅是一個可以通過熱量改變來測定的物理量，但是在香農的手裡，熵則開啟了信息時代的大門，所以才有了那句經典的“香農說，要有熵，信息時代由此開啟”。

信息熵的公式

香農在希拉德的基礎上提出，信息就是負熵，麥克斯韋妖将負熵輸給系統，即是降低了熵，增加了有序性。信息的獲取是需要消耗能量的。物體之間的相互作用在系統之内并不降低系統的不确定度，所以沒有信息作用。信息是對系統的觀測，是外界對原來系統的作用。信息的本質就是“意義'的載體。

1948年10月香農在《貝爾系統技術學報》發表了論文《A Mathematical Theory of Communication》（通信的數學理論），這是現代信息論研究的開端， 文章系統論述了信息的定義，怎樣數量化信息，怎樣更好地對信息進行編碼。在這些研究中，概率理論是香農使用的重要工具，并且正式提出了信息熵的概念，用于衡量消息的不确定性，從而解決了電報、電話、無線電等如何計量信号信息量的問題。

除此之外香農還自創用“比特”來測量信息的單位，現已跻身于公尺、千克、分鐘之列，成為了日常生活中最常見的量綱之一，是計算機最小的數據單位。

例如“小編實在太厲害”這七個漢字一共是112bits，一個漢字兩個字節，一個字節8bits，總共就是7*2*8bits。

香農的厲害之處就在于，有的理論的創始人是帶我們到了一個新的起點，而香農創立信息論時，直接定義了它的終點。隻要你還在經典信息論框架内，你就逃不出三大定理的範圍，我們拼盡全力往技術的山頂走，而香農就在山頂等我們，哪怕是現在認為非常先進的5G技術,其實也并沒有突破香農理論的極限。

我們真的，香農信息論是以概率論、随機過程為基本研究工具，研究廣義通信系統的整個過程，而不是整個環節，并以編、譯碼器為重點，其關心的是最優系統的性能及如何達到該性能。

雖然香農熵解決了電報、電話、無線電等如何計量信号信息量的問題。但怎麼在遠距離通信中進一步提高信道容量？也就是信息傳送速率上限，即“香農極限”。

因為在信息論裡，有噪信道編碼定理指出，盡管噪聲會幹擾通信信道，但還是有可能在信息傳輸速率小于信道容量的前提下，以任意低的錯誤概率傳送數據信息。

而通信信道的信道容量也就是香農限制是指在指定的噪音标準下，信道理論上的最大傳輸率。

由此，在這篇論文中，香農提出了信息論的基礎，也是關于信道容量計算的一個經典定律——香農定律。這使得至今幾乎所有的現代通信理論都是基于這個公式展開。

它是指在高斯白噪聲背景下的連續信道的容量

=

（b/s）。

其中：B為信道帶寬（Hz）；S為信号功率（W）；n0為噪聲功率譜密度（W/Hz）；N為噪聲功率（W）。

香農定理給出了信道信息傳送速率的上限（比特每秒）和信道信噪比及帶寬的關系。可以解釋現代各種無線制式由于帶寬不同，所支持的單載波最大吞吐量的不同。

C是單信道的信道容量，是能在此信道中信息傳輸速率的最大值,。我們建立了一個單點輸入、單點輸出的通信通道（我們稱為信道）後，這條通道每秒最多可以傳送多少bit的信息量，如果信息速率超過信道容量,那信息是不可能被傳輸。

B是信道的帶寬，可以簡單理解為分配給一個信道可用的頻率範圍的一半；S是傳送信号的平均功率，而N則是噪聲或者幹擾信号的平均功率。

從香農公式可知，對于單信道而言，要增加信道容量C，無非三種方式：或增加帶寬B，或增加信号功率S，或減少噪聲或幹擾信号的功率N。

我們可以簡單地把信息通道看作是城市道路，那麼在這條道路上的單位時間内的車流量就受到道路寬度和車輛速度等因素的制約，在這些特定制約條件下，單位時間内最大車流量就被稱為極限值。

而根據香農定理，由于受到一些固有規律的制約，任何信道都不能無限增加信息傳送的速率。

從香農公式中我們可以看出，想要提高信息的傳送速率關鍵在于提高信噪比和帶寬。

香農定律為信息時代指明了道路，二十世紀六十年代由美國貝爾實驗室等單位提出蜂窩系統的概念和理論，但是受到硬件的限制，七十年才在正式向産業化發展。移動通信的變革在北美、歐洲、和日本幾乎同時進行。1978年，美國貝爾實驗室研制成功全球首個移動蜂窩電話系統AMPS，标志着 1G 時代的到來，全球正式進入了信息時代，信息技術革命以美國為核心逐漸擴散到其他國家。

香農定律告訴我們：犧牲單個信道的功率，雖然單個信道的容量有所降低，但是這個降低卻能換來信道數目的增長。因此，有的時候，犧牲一定的帶寬、提高一點噪聲或是降低一點信号功率，如果能使輸入或輸出信号之間的區分度增加，也是可以提高信道總容量的。這正是5G的另一類重要技術，非正交複用技術（Non-Orthogonal Multiple Access，NOMA）的原理基礎。

而從 1G 到 5G 的過程，就是逼近香農極限的過程。香農公式是整個信息時代規則的制定者，它是至高無上的神，也是美國得以制衡全球的終極法器。然而随着時代的發展，我們也獲悉了香農定律中的無上奧秘。從而在 5G 世界走在了全球的前列。

或許這新帝國的壟斷者也該易位了！

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部