1916年,第一次世界大戰激戰正酣。
在這一年的4月30日,遠離戰場的美國密歇根州佩托斯基(Petoskey),一個男嬰呱呱墜地。這個男嬰,就是我們這篇文章的主角——香農。
香農的全名,叫做克勞德·艾爾伍德·香農(ClaudeElwoodShannon)。他是美國著名數學家、發明家、密碼學家,也是信息論的創始人。
換句話說,我們現在所有IT人和通信人的共同祖師爺,就是他。
帥哥香農
香農從小就在一個名叫蓋洛德(Gaylord)的小鎮生活。他的父親,是這個小鎮的法官,名字叫克勞德·艾爾伍德·香農(沒錯,他老爹給兒子取了和自己一毛一樣的名字)。
香農的母親,是小鎮的中學校長,名叫梅布爾·沃爾夫·香農(Mabel Wolf Shannon)。
父親是法官,母親是校長,這樣的知識分子家庭,教育氛圍當然不會差。
讀書時候的香農,已經表現出驚人的數學天賦。在8歲的時候,他就輔導他姐姐做高等數學作業。後來,他姐姐大學畢業,成為了數學教授。
除了數學之外,小香農特别喜歡搞發明創造,其中就包括電報機、電動船,以及各種機械動物。
小時候的香農,看上去就很叛逆
這個興趣愛好,估計和他的爺爺有很大的關系。他爺爺是一位農場主兼發明家,發明過洗衣機和很多農用機械。
值得一提的是,香農還有一個遠房親戚,也很喜歡搞發明。這位親戚的名字,叫愛迪生。
1936年,20歲的香農從密歇根大學本科畢業,順利拿到了數學和電子工程雙學位。随後,他進入麻省理工學院繼續深造。
兩年後,香農完成了他的碩士論文——《繼電器與開關電路的符号分析》。
在論文中,他首次提出,可以用布爾代數來描述電路。他将布爾代數的"真"與"假"和電路系統的"開"與"關"對應起來,并用了數學中最簡單的兩個數字——“1”和“0”來表示。
喬治·布爾(1815-1864),英國數學家
1847年,他提出了布爾代數,這是一種計算命題真僞的數學方法。
香農的這篇論文,雖然僅僅是碩士論文,但具有劃時代的意義。它奠定了數字電路的理論基礎。後來出現的計算機等設備,都以此為設計思路。
後來,著名計算機科學家赫爾曼·哥爾斯坦評價這篇論文是“有史以來最重要的一篇碩士論文”,“從藝術到科學上改變了電路的設計。”
赫爾曼·哥爾斯坦
世界上第一台現代電子數字計算機ENIAC的研制者之一
因為這篇論文,香農獲得了電子工程界的大獎——美國Alfred Noble協會美國工程師獎。
正當世人以為這位電子工程天才會繼續大展拳腳的時候,他卻沒了下文。直到兩年後,他發出了自己的博士論文——《理論遺傳學的代數學》,并憑此獲得了麻省理工的數學博士學位。
是的,這家夥玩了個跨界,竟然從電子工程學跨到了生物遺傳學。
年輕時的香農(有點像福爾摩斯)
此後,香農去普林斯頓高等研究院待了一年,與愛因斯坦、馮·諾依曼等大師級人物有過交集。他的研究方向,變成了機械模拟計算機。
1941年,香農發表了新的論文——《微分分析器的數學理論》,通過機械式計算機來求解微分方程。
當時的微分分析器
同年,香農加入了著名的貝爾實驗室(此後一直工作到1972年)。
最開始進入貝爾實驗室的時候,香農是去的數學部,從事和戰争相關的工作——研究火力控制系統和密碼學。
他所在的密碼破譯團隊,主要負責追蹤納粹德國的飛機和火箭。他還用數學手段,推導了X系統的安全性。這個X系統,就是指英國首相丘吉爾和美國總統羅斯福之間的專用電話線路。
1943年,英國著名數學家、密碼學家阿蘭·圖靈訪問貝爾實驗室,并與香農共進午餐。
阿蘭·圖靈(1912-1954)
鑒于兩人的特殊工作性質,他們并沒有進行密碼學的交流,反而更多的是讨論人造思維機器(也就是後來的AI人工智能)。
當時,香農告訴圖靈,他不僅僅滿足于向這台“大腦”裡輸入數據,還希望把文化的東西灌輸進去。
這個想法震驚了阿蘭·圖靈,他感到非常不可思議,驚呼道:“他(香農)想給它來點音樂!”
後來,随着對密碼研究的不斷深入,香農逐漸形成了一套完整的密碼學理論。與此同時,他開始思考有效通信系統的問題。現代信息論的思想雛形,逐漸在他的腦海裡形成。
1945年,他向貝爾實驗室提交了一份備忘錄——《密碼學的一個數學理論》。
1948年6月至10月,香農在《貝爾系統技術雜志》連載了那篇改變人類社會發展軌迹的論文——《通信的數學理論》。次年,香農又在該雜志發表了另一篇著名論文——《噪聲下的通信》。
在這兩篇論文中,香農給出了通信系統的基本模型,提出了信息熵的概念以及數學表達式。
計算信息熵H的公式
大家如果是工科出身且還記得通信原理的話,就知道,一條信息的信息量大小,和它的不确定性有直接關系。
舉個例子:如果我告訴你,世界是圓的(準确地說,地球近似是橢球形)。這種非常确定的内容,信息量是0(等于一句廢話)。如果我告訴你,XX樹下埋了一百萬美金,那這個信息量就很大。上面那個公式,就是根據确定性大小算信息量的。
香農指出,信息是可以被量化的,用數字編碼可以代表任何類型的信息。信息進行數字化後,可以經壓縮再傳輸,極大地減少傳輸時間和傳輸成本。
香農還推出了比特的概念(他将發明這個詞的榮譽歸功于自己的同事約翰·圖基),将其稱為“用于測量信息的單位”。
bit
比特(bit),其實就是二進制數(binary digit)的縮寫。
衆所周知,比特後來成為了信息時代的基石。我們今天在互聯網上所有的信息,都在用它來表達。
除了信息熵之外,香農還在論文中提出了大名鼎鼎的香農公式。
香農公式
簡單來說,信息熵讨論的是信息量及數據壓縮的臨界值。而香農公式,則是讨論通信速率的極限值。
具體細節我們就不讨論了哈,不然人都跑光了。
我們隻需要知道,直到現在的5G,我們還沒有逃脫香農公式的“魔爪”。有些人一輩子幹的事,就是無限逼近香農公式的極限。
兩篇論文的發表,奠定了信息論的基礎,對學術界造成了巨大的震動,影響力絲毫不亞于1947年12月世界上第一個晶體管的發明(同樣來自貝爾實驗室)。
當時,因為信息論的觀點非常超前,還引起了一些質疑和反對。後來,随着時間的推移,信息技術迅速發展,信息論的價值越發顯現,香農也确立了自己“信息和通信雙料祖師爺”的地位。
忘了說了,發表論文時的香農,才33歲。
1949年,香農在備忘錄《密碼學的一個數學理論》的基礎上,又發表一篇重要論文——《保密系統的通信理論》。
這篇論文再次震驚學術界。波士頓環球報稱:“這一發現将密碼從藝術變成為科學”。
論文開辟了用信息論來研究密碼學的新思路,奠定了現代密碼理論的基礎。香農也憑此成為近代密碼理論的奠基者和先驅。
1949年3月27日,香農迎娶了自己在貝爾實驗室的同事,瑪麗·伊麗莎白·摩爾(Mary Elizabeth Moore),然後繼續從事自己熱愛的科學研究工作。
1952年,香農夫婦共同推出了著名的“會走迷宮的老鼠”——忒修斯。
香農和忒修斯
這是一隻木制的、帶有銅須的玩具老鼠。它能通過不停地随機試錯,穿過一座由金屬牆組成的迷宮,直到在出口處找到一塊金屬的“奶酪”。
最厲害也最具獨創性的是:“忒修斯”能夠記住這條路線,甚至在下一次任務中,迷宮的牆壁有所移動,都難不倒它。
當時,香農還專門拍攝了一段影像,制作成電視節目,展示這隻老鼠。這個節目引起了公衆的極大興趣,在人們看來,這就是一隻“會思考”的老鼠啊。
其實,走迷宮的秘訣并不在老鼠身上,而是在迷宮上。迷宮各處隐藏了75個繼電器開關,通過這些簡單的隻具有開關功能的設備,最終實現了老鼠的所謂“智能”。
1956年,香農成為麻省理工學院(MIT)的客座教授。1958年,成為終生教授。
1961年,香農和同事索普做出一個香煙盒大小的小型計算機,小盒子藏在口袋裡,用大腳趾控制藏在鞋子裡的開關。這個設備用來幹什麼呢?用來預測賭場的輪盤結果,計算小球落在輪盤不同位置的概率。
憑借這個設備,他們倆還真的在拉斯維加斯赢到了錢。後來,因為被盯上,所以趕緊放棄并離開了。
香農另一個著名的發明,是一個會下國際象棋的機器。這個機器用了150個繼電器開關,具備不錯的計算能力。1965年,香農帶着這個機器跑去挑戰當時的世界冠軍Mikhail Botvinnik。雖然最後還是輸了,但表現不賴。
1973年,在以色列阿什凱隆召開的信息論國際研讨會上,IEEE命名了香農獎,并把這一獎項授于香農本人。這種自己領自己名字命名的獎的做法,後來被人戲稱為“香農套路”。
1985年,在英格蘭布萊頓舉行的“國際信息理論研讨會”上,香農突然現身,引起了全場轟動。參加會議的年輕學者簡直不敢相信自己的眼睛,竟然親眼看見了信息理論的祖師爺!更讓人瞠目結舌的是,香農竟然在會場上表演起了抛物雜耍,讓整個會場更加沸騰。
香農當年還是投資大師、炒股高手,擅于采用套利的手法,迅速賺取财富。
1986年8月11日,著名的《巴倫周刊》曾彙總了1026家共同基金的近期表現,香農排名第一。
剛才我們提到香農在會場表演抛物雜耍。其實,香農終身都熱愛雜耍。在很年輕的時候,他就學會了騎獨輪車和抛接球。當年在貝爾實驗室上班的時候,他經常特立獨行地騎獨輪車去上下班,成為一道靓麗的風景線。
被科學耽誤了的雜技天才
到了晚年時期,香農對雜耍的熱愛簡直到了癡迷的地步。他花了很多時間刻苦練習,不斷提高雜耍水平。他甚至還擁有一張雜耍學博士證書,視為至寶。
除了雜耍之外,他還熱衷于制造玩具。他建造了火焰噴射喇叭、火箭驅動飛盤、自動下棋機器人等各種奇怪的玩具。
在後來人工智能先驅馬文·闵斯基的啟發下,他設計了一個被稱為“終極機器”的機器人。當你把開關撥到“開”,盒子打開并伸出一個機械手,它把開關撥回到“關”,然後機械手縮回到盒子裡去。
“終極機器”……
在馬薩諸塞州溫徹斯特香農的家中(香農稱為“熵宅”),堆滿了他的小發明。他的車庫中存放了至少30輛奇特的獨輪車,其中包括一個沒有腳蹬的獨輪車,一個是方形的輪胎的獨輪車,一個特為兩個人騎的獨輪車。
真正的老頑童
香農還把玩雜耍上升到理論的高度,開始撰寫《統一的雜耍場理論》。
遺憾的是,這篇作品還沒有完成,香農就因阿爾茲海默症于2001年2月26日去世了,享年85歲。
著名學者理查德·布拉胡特(Richard Blahut)教授在香農雕像(位于香農老家蓋洛德鎮)的落成典禮上,是這麼評價香農的:
“在我看來,兩三百年之後,當人們回過頭來看我們的時候,他們可能不會記得誰曾是美國的總統。他們也不會記得誰曾是影星或搖滾歌星。但是仍然會知曉香農的名字。學校裡仍然會教授信息論。”
緻敬!偉大的信息論之父——克勞德·艾爾伍德·香農!
—— The End ——
參考文獻:
1、香農的信息論究竟牛在哪裡,知乎,科言君
2、“信息時代之父”香農:用一隻木老鼠奠定人工智能的基礎,大科技雜志社
3、香農傳:從0到1開創信息時代,中信出版社,吉米·索尼,羅博·古德曼
4、信息論,一個撬動地球的支點,坤鵬論
5、香農 Claude Shannon 有哪些奇聞轶事,知乎
6、信息論之父香農,丁玖
7、克勞德·艾爾伍德·香農,百度百科詞條
轉載内容僅代表作者觀點
不代表中科院物理所立場
如需轉載請聯系原公衆号
來源:鮮棗課堂
編輯:利有攸往
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!