深度強化學習( DRL ) 是人工智能研究的一個令人興奮的領域，這個領域在許多問題上都具有潛在的適用性。有些人認為DRL是通往通用人工智能(AGI)的一條道路，因為它是通過探索和接收環(huán)境的反饋來反映人類學習的。

　　最近，DRL成功擊敗人類視頻游戲玩家，以及雙足智能體學習在模擬環(huán)境中行走，這些進展都提高了人們對該領域的熱情。

　　與基于已知標簽訓練模型的監(jiān)督學習不同，在強化學習中，研究人員通過讓智能體與環(huán)境交互來訓練模型。當智能體的行為產(chǎn)生期望的結果時，例如智能體獲得獎勵得分或贏得一場比賽，它會得到積極的反饋。簡單地說，研究人員加強了智能體的良好行為。

　　將 DRL 應用于實際問題的關鍵挑戰(zhàn)之一是構造一個激勵函數(shù)，該函數(shù)鼓勵期望的行為而不存在副作用。

　　也許值得注意的是，盡管深度強化學習(“深層”指的是底層模型是一個深層神經(jīng)網(wǎng)絡)仍然是一個相對較新的領域，但強化學習自上世紀70年代或更早就出現(xiàn)了。

圖丨Andrej Karpathy

　　正如計算機視覺領域大牛之一、李飛飛高徒、曾在OpenAI任研究科學家、現(xiàn)任特斯拉AI總監(jiān)的 Andrej Karpathy 在他2016的博文中所指出的那樣，像AlphaGo和Atari Deep Q-Learning這樣關鍵的 DRL 研究都是基于已經(jīng)存在了一段時間的算法，但是深度學習取代了其他近似函數(shù)的方法。當然，他們能夠使用深度學習歸功于過去20多年中廉價計算能力的爆炸式增長。

　　DRL帶給人們的信心，再加上谷歌在2014年以5億美元收購DeepMind的行為，使得許多初創(chuàng)公司希望利用這項技術。由于人們對 DRL 越來越感興趣，我們也看到了新的開源工具包和 DRL 智能體的訓練環(huán)境。這些框架中的大多數(shù)本質(zhì)上都是專用的仿真工具或接口，以下是幾個值得關注的工具包：

　　OpenAI Gym

　　OpenAI Gym是一個流行的工具包，用于開發(fā)和比較強化學習模型。它的模擬器界面支持多種環(huán)境，包括經(jīng)典的Atari游戲，以及機器人和物理模擬器，如MuJoCo和DARPA資助的Gazebo。和其他DRL工具包一樣，它提供API來反饋觀察結果和獎勵給智能體。

　　DeepMind Lab

　　DeepMind Lab是一個基于Quake III第一人稱射擊游戲的3D學習環(huán)境，為智能體訓練提供導航和學習任務。DeepMind最近增加了DMLab-30智能體訓練套裝，并引入了新的Impala分布式智能體訓練體系結構。

　　Psychlab

　　另一個DeepMind工具包Psychlab今年早些時候開源了，它擴展了DeepMind Lab，以支持認知心理學實驗，比如搜索一組特定目標或檢測一組物體的變化。然后，研究人員可以比較人類和智能體在這些任務上的表現(xiàn)。

　　House3D

　　在加州大學伯克利分校和Facebook人工智能研究人員的合作下，House 3D提供了45,000多個模擬室內(nèi)場景，包括真實的房間和家具布局。介紹House 3D的論文中提到的主要任務是“概念驅(qū)動導航”，比如訓練一個智能體，在只給出像“餐廳”這樣的高級描述符的情況下，導航到房子中的一個房間。

　　Unity Machine Learning Agents

　　在Danny Lange (VP of AI and ML) 的指導下，游戲引擎開發(fā)者Unity公司正在努力將先進的人工智能技術納入其平臺。Unity Machine Learning Agents于2017年9月發(fā)布，這是一個開源的Unity 插件，它可以讓運行在該平臺上的游戲和仿真環(huán)境作為訓練智能體的環(huán)境。

　　Ray

　　這里列出的其他工具主要關注DRL培訓環(huán)境，Ray則更多地介紹了DRL的基礎架構。Ray是由Ion Stoica和他在Berkeley RISELab的團隊開發(fā)的，它是一個在集群和大型多核機器上高效運行Python代碼的框架，其目標是為強化學習提供一個低延遲的分布式執(zhí)行框架。

　　所有這些工具和平臺的出現(xiàn)將使 DRL 更便于開發(fā)人員和研究人員使用。但是，他們需要得到所有的能得到的幫助，因為深度強化學習技術很難付諸實踐。谷歌工程師 Alex Irpan 最近發(fā)表了一篇題為“深度強化學習還不成熟”的文章，對原因進行了解釋。Irpan 列舉了 DRL 所需的大量數(shù)據(jù)、大多數(shù) DRL 方法沒有利用關于所涉及的系統(tǒng)和環(huán)境的先驗知識、以及前面提到的提出有效的激勵函數(shù)方面的困難等問題。

　　從研究和應用的角度來看，深度強化學習能繼續(xù)成為人工智能領域的一個熱門話題。它在處理復雜、多方面和決策問題方面顯示出巨大的潛力，這使得它不僅對工業(yè)系統(tǒng)和游戲有用，而且在營銷、廣告、金融、教育，甚至數(shù)據(jù)科學本身等領域都很有用。