左：具有近似塊對角結構的鄰接矩陣的示例。假設神經元相互作用的線性混合模型，該網絡結構将引起類似結構的近似塊對角線協方差。右：與左側鄰接矩陣關聯的主要組件。圖片來源：米切爾和佩佐爾德。

加利福尼亞大學的兩位研究人員Brian Mitchell和Linda Petzold最近将無模型深度強化學習應用于神經動力學模型，取得了非常有希望的結果。

強化學習是受行為主義心理學啟發的機器學習領域，它使用基于獎勵和懲罰的系統訓練算法以有效地完成特定任務。該領域的一個重要裡程碑是Deep-Q-Network（DQN）的開發，該網絡最初用于訓練計算機玩Atari遊戲。

無模型強化學習已經應用于各種問題，但通常不使用DQN。這樣做的主要原因是DQN可以提出有限數量的行動，而物理問題通常需要一種可以提出連續行動的方法。

在閱讀有關神經控制的現有文獻時，Mitchell和Petzold注意到了經典範式的廣泛使用，用機器學習策略解決神經控制問題。首先，工程師和實驗者就他們研究的目标和設計達成一緻。然後，後者運行實驗并收集數據，稍後将由工程師進行分析并用于構建感興趣系統的模型。最後，工程師為模型開發控制器，設備實現該控制器。

控制由單個主成分限定的相空間中的振蕩的實驗結果。從頂部開始的第一個圖是随着時間的推移輸入到緻動單元中的圖;從頂部開始的第二個圖是整個網絡的尖峰圖，其中不同的顔色對應于不同的單元;從頂部開始的第三個圖對應于每個細胞随時間的膜電位;頂部圖中的第四個顯示目标振蕩;底部圖顯示觀察到的振蕩。盡管僅向單個電池輸入輸入，該策略能夠近似地在觀察到的相空間中引起目标振蕩。圖片來源：米切爾和佩佐爾德。

“這項工作流程忽略了無模型控制的最新進展（例如AlphaGo AlphaGo Zero），這可以使控制器的設計更加高效，”Mitchell告訴Tech Xplore。“在無模型框架中，步驟b，c和d組合成一個步驟，并且沒有建立明确的模型。相反，無模型系統反複與神經系統交互并随着時間的推移學習以實現所需的我們希望填補這一空白，看看是否可以使用無模型控制來快速解決神經控制中的新問題。”

研究人員采用了一種名為“深度确定性政策梯度”（DDPG）的無模型強化學習方法，并将其應用于低水平和高水平神經動力學模型。他們特别選擇了DDPG，因為它提供了一個非常靈活的框架，不需要用戶對系統動力學進行建模。

最近的研究發現，無模型方法通常需要對環境進行過多實驗，這使得将它們應用于更實際的問題變得更加困難。盡管如此，研究人員發現，他們的無模型方法比當前基于模型的方法表現更好，并且能夠解決更困難的神經動力學問題，例如通過神經元的欠驅動網絡的潛伏相空間控制軌迹。

“對于我們在本文中考慮的問題，無模型方法非常有效，并且根本不需要太多實驗，這表明對于神經問題，最先進的控制器比人們想象的更實用。”米切爾說。

10個同步實驗的總結。（a）描繪全局同步的平均值和标準偏差（即來自等式16的q）與控制器的訓練周期的數量。（b）顯示直方圖，證明所有網絡振蕩器與參考振蕩器的同步水平（即來自等式16的qi）。也就是說，藍色或綠色曲線上的點表示具有給定qi值的概率。藍色直方圖顯示訓練前的計數，而綠色直方圖顯示訓練後的計數。與參考qi的平均同步遠高于全局同步q，這可以通過與參考同步比全局同步更容易誘導的事實來解釋。圖片來源：米切爾和佩佐爾德。

Mitchell和Petzold進行了他們的研究作為模拟，因此在他們的方法可以在臨床環境中引入之前需要考慮重要的實踐和安全方面。将模型納入無模型方法或對無模型控制器構成限制的進一步研究有助于在這些方法進入臨床環境之前提高安全性。

未來，研究人員還計劃研究神經系統如何适應控制。人類大腦是高度動态的器官，适應周圍環境并随外部刺激而變化。這可能會導緻大腦和控制器之間的競争，特别是當他們的目标不一緻時。

“在許多情況下，我們希望控制器獲勝并且總是獲勝的控制器設計是一個重要且有趣的問題，”米切爾說。“例如，在被控制的組織是大腦的病變區域的情況下，該區域可能具有控制器試圖糾正的某一進展。在許多疾病中，這種進展可能抵抗治療（例如，腫瘤适應于驅逐化療是一個規範的例子，但目前的無模型方法并不能很好地适應這些變化。改進無模型控制器以更好地處理大腦的适應性是我們正在研究的一個有趣的方向。”

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!