原作：Thomas Simonini

牆化栗子 編譯自 FreeCodeCamp

量子位 出品 | 公衆号 QbitAI

強化學習是機器學習裡面非常重要的一個派别。智能體 (agent) 會不斷執行一些操作，通過結果來學習，在不同的環境中分别應該采取怎樣的行動。

在一系列教學文章裡，我們可以了解不同的架構，來解決強化學習的問題。Q學習，深度Q網絡 (DQN) ，策略梯度 (Policy Gradients) ，演員-評論家 (Actor-Critic) ，以及近端策略優化 (PPO) 都是将要涉及的算法。

這是本系列的第一篇文章，你可以抓住的重點有：

· 什麼是強化學習，以及為什麼獎勵最重要

· 強化學習的三種方式

· 深度強化學習的“深度”是什麼意思

其實，這樣的學習過程和我們自然的經曆非常相似。想象自己是個小孩子，第一次看到了火，然後走到了火邊。

你感受到了溫暖。火是個好東西 ( 1) 。

然後就試着去摸。卧槽，這麼燙 (-1) 。

結論是，在稍遠的地方火是好的，靠得太近就不好。

這就是人類學習的方式，與環境交互。強化學習也是一樣的道理，隻是主角換成了計算機。

比如，智能體要學着玩超級馬裡奧。強化學習過程可以用一個循環 (loop) 來表示：

· 智能體在環境 (超級馬裡奧) 裡獲得初始狀态S0 (遊戲的第一幀) ；

· 在state 0的基礎上，agent會做出第一個行動A0 (如向右走) ；

· 環境變化，獲得新的狀态S1 (A0發生後的某一幀) ；

· 環境給出了第一個獎勵R1 (沒死： 1) ；

于是，這個loop輸出的就是一個由狀态、獎勵和行動組成的序列。

而智能體的目标就是讓預期累積獎勵最大化。

獎勵假說為根基

問題來了，目标為什麼是預期累積獎勵最大化？

因為，強化學習原本就是建立在獎勵假說的基礎之上。想表現好，就要多拿獎勵。

每一個時間步 (time step) 的累積獎勵都可以表示為：

或者

不過，我們沒有辦法把獎勵直接相加。因為遊戲裡，越接近遊戲開始處的獎勵，就越容易獲得；而随着遊戲的進行，後面的獎勵就沒有那麼容易拿到了。

把智能體想成一隻小老鼠，對手是隻貓。它的目标就是在被貓吃掉之前，吃到最多的奶酪。

就像圖中，離老鼠最近的奶酪很容易吃，而從貓眼皮底下順奶酪就難了。離貓越近，就越危險。

結果就是，從貓身旁獲取的獎勵會打折扣，吃到的可能性小，就算奶酪放得很密集也沒用。

那麼，這個折扣要怎麼算呢？

我們用γ表示折扣率，在0和1之間。

· γ越大，折扣越小。表示智能體越在意長期的獎勵 (貓邊上的奶酪) 。

· γ越小，折扣越大。表示智能體越在意短期的獎勵 (鼠邊上的奶酪) 。

這樣，累積獎勵表示出來就是：

簡單來說，離貓近一步，就乘上一個γ，表示獎勵越難獲得。

片段性任務還是連續性任務

強化學習裡的任務分兩種。

片段性任務 (Episodic Tasks)

這類任務，有個起點，有個終點。兩者之間有一堆狀态，一堆行動，一堆獎勵，和一堆新的狀态，它們共同構成了一“集”。

當一集結束，也就是到達終止狀态的時候，智能體會看一下獎勵累積了多少，以此評估自己的表現。

然後，它就帶着之前的經驗開始一局新遊戲。這一次，智能體做決定的依據會充分一些。

以貓鼠迷宮為例的一集：

· 永遠從同一個起點開始

· 如果被貓吃掉或者走了超過20步，則遊戲結束

· 結束時，得到一系列狀态、行動、獎勵和新狀态

· 算出獎勵的總和 (看看表現如何)

· 更有經驗地開始新遊戲

集數越多，智能體的表現會越好。

連續性任務 (Continuing Tasks)

永遠不會有遊戲結束的時候。智能體要學習如何選擇最佳的行動，和環境進行實時交互。就像自動駕駛汽車，并沒有過關拔旗子的事。

這樣的任務是通過時間差分學習 (Temporal Difference Learning) 來訓練的。每一個時間步，都會有總結學習，等不到一集結束再分析結果。

探索和開發之間的權衡

在讨論強化學習的幾種方法之前，必須講到這件事。

· 探索 (Exploration) 是找到關于環境的更多信息。

· 開發 (Exploitation) 是利用已知信息來得到最多的獎勵。

要記住，目标是将預期累積獎勵最大化。正因如此，它有時候會陷入一種困境。

小老鼠可以吃到無窮多塊分散的奶酪 (每塊 1) 。但在迷宮上方，有許多堆在起的奶酪( 1000) ，或者看成巨型奶酪。

如果我們隻關心吃了多少，小老鼠就永遠不會去找那些大奶酪。它隻會在安全的地方一塊一塊地吃，這樣獎勵累積比較慢，但它不在乎。

如果它跑去遠的地方，也許就會發現大獎的存在，但也有可能發生危險。

程序猿需要設定一種規則，讓智能體能夠把握二者之間的平衡。

強化學習的三種方法

前菜吃完了，我們終于要開始講解決強化學習問題的方法了。三種方法分别是：基于價值（value-based）、基于策略（policy-based）以及基于模型（model-based）的方法。

基于價值 (Value-Based)

這種方法，目标是優化價值函數V(s)。

價值函數會告訴我們，智能體在每個狀态裡得出的未來獎勵最大預期 (maximum expected future reward) 。

一個狀态下的函數值，是智能體可以預期的未來獎勵積累總值，從當前狀态開始算。

智能體要用這個價值函數來決定，每一步要選擇哪個行動。它會采取函數值 (就是Q值) 最大的那個行動。

在迷宮問題中，每一步我們都選取最大函數值：-7，-6，-5，以此類推，達到目标。

基于策略 (Policy-Based)

這種方式，會直接優化策略函數π(s)，抛棄價值函數。

策略就是評判智能體在特定時間點的表現。

把每一個狀态和它所對應的最佳行動建立聯系。

策略分為兩種，

· 确定性策略：某一個特定狀态下的策略，永遠都會給出同樣的行動。

· 随機性策略：策略給出的是多種行動的可能性分布。

從圖中我們可以看到，策略直接指出了每一步的最佳行動。

基于模型 (Model-Based)

這種方法是對環境建模。這表示，我們要創建一個模型，來表示環境的行為。

問題是，每個環境都會需要一個不同的模型 (馬裡奧每走一步，都會有一個新環境) 。這也是這個方法在強化學習中并不太常用的原因。

深度強化學習

所謂深度強化學習，就是在強化學習裡，加入深度神經網絡。

如圖，拿Q學習和深度Q網絡 (DQN) 來舉例。

· Q學習，是利用一個傳統算法創建Q-table，來幫助智能體找到下一步要采取的行動。

· DQN，是利用深度神經網絡來近似Q值。

恭喜你讀到現在。這第一篇文章的信息量還是不小的。

△ 根本停不下來

有興趣的同學，可以堅持服用一療程。

這裡是本系列大綱的傳送門：

https://simoninithomas.github.io/Deep_reinforcement_learning_Course/

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公衆号(QbitAI)對話界面，回複“招聘”兩個字。

量子位 QbitAI · 頭條号簽約作者

վ'ᴗ' ի 追蹤AI技術和産品新動态

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部