個人公号：RushPlayer個人網站：https://rushplayer.github.io/

1 前言

寫一點個人觀察，主要是關于人腦學習與機器學習相似之處。衆所周知，先有生物學家和數學家對人腦的逆向和模拟，才有了機器學習神經網絡的研究，而後出現了擁有超強計算力GPU，更是促成深度學習的廣泛應用。

2 人類學習vs機器訓練

人類學習流程：在日常生活學習中問問題動動手、交流、判斷反饋的結果、修正自己的大腦認知。深度學習網絡的訓練套路相對簡單又類似：準備大量标注數據、設置神經網絡各類超參數、設定Loss函數，沿誤差減少的方向用反向鍊式求導，修正網絡各層計算單元。正如下面這張不同年齡的大腦神經元連接示意圖，粗看幾乎就是一個全連接層的神經網絡訓練過程。

圖.成長的大腦

說幾個有意思的點：

1. 目前深度學習不會訓練出創造力、不會故意出錯、沒有情緒。它的“機器”含量超過99%，”智能“含量微乎其微。
2. 如果訓練數據集缺乏，深度學習網絡會過拟合。好比一個知識和經曆有限的成人，大腦易偏見和固執，當有新鮮事物出現，用這“過拟合的神經網絡”來推理時，會有很多好笑的判斷。如吃綠豆養生、中藥渣倒路中間等。
3. 深度學習訓練是一個找出非凸的全局最優解的過程，梯度下降到一個局部最優點會爬不出來！人類大腦憑過去經驗來判斷到處都是似懂非懂，知識需要升華到智慧，所以人生充滿了“道可道非常道“的故弄玄虛和處世玄學。

3 神經元也是二進制計算？

現代計算機底層全都是二進制計算。而大腦的計算方式，從人們更容易理解的角度，大腦也許是三進制（正确、錯誤、不知道）、也許是5進制（5根手指）、10進制（十根手指），但這些計算方式更可能是大腦訓練結果。我們知道神經元樹突接受輸入，然後加權判斷是否輸出給後續神經元，自然就有抑制和激活兩種狀态，很容易聯想到大腦也是二進制計算。正如深度學習祖師geoffrey hinton言：“大腦傾向于比特位的交流而不是文字”。

圖.geoffrey hilton

關于神經元之間的協作計算方式，有人提出一個指數運算公式： N = 2^i -1 .輸入i個信号，就會有N個神經元組成的計算簇來響應。

4 大腦是CPU而不是GPU

CPU上多任務的開銷巨大，線程切換上下文保存載入。而人類大腦同樣無法有效處理兩個以上的任務，比如你打着電話時會不加判斷接過别人遞過來的東西。人腦宏觀上像是一個單核CPU，最多可以執行一些SIMD指令（并行做一些相同的任務），而不是一塊GPU執行SIMT（單指令多核執行）随意切換任務。

5 人類的未來就是機器？

人類整體也是一個智能體一張神經網絡也在進化，每個人作為計算單元身處其中互相連接互相算計。就像單隻螞蟻無法理解蟻群行為，我們也許無法知道人類最後目的是什麼。

我認為現在的人類情緒和幾萬年前的采集野果圍捕野豬的智人祖先沒什麼大區别，如嫉妒、孤獨、沖動、恐懼等等。現在的人類配不上科幻片光速飛船、量子傳播、黑洞穿越、曲率引擎，這些光速飛船上時空穿越者們應該已經進化掉了現在人類的情緒，他們能夠理解恒星内部、中子星上的文明。純能的神級文明沒有情緒。

雖說努力可能讓你配得上心目中的那些美好事物 ，但是不努力肯定很舒服。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!