游戲開發是一個復雜且勞動密集型的工作。游戲的環境、故事線和人物個性都需要被仔細地構建。這需要視覺藝術家、編故事的人和軟件工程師一起密切協作才能完成。通常，在傳統編程的形式下，游戲會有一套專門編寫的行為；或是在有大量規則組合的形式下，會以更加有反饋的行為來構成。在過去的幾年間，數據密集的機器學習解決方案已經在企業（比如Amazon、Netflix和Uber）里消滅掉了基于規則的系統。在Unity，我們已經在探索使用這樣的一些機器學習的技術，比如用深度學習做內容構建，用深度增強學習來進行游戲開發。我們已經看到這一波的機器學習和人工智能在游戲領域的巨大潛力。
對于一些數據驅動的大型企業而言，機器學習并不是什么新東西。2007年，當Netflix發起了著名的NetflixPrize競賽，讓最好的協同過濾算法來預測用戶對電影的評分時，就是我們現在所體驗的對人工智能的大量媒體報道的開端。但是在2000年初，一些大企業就已經在嘗試使用數據驅動的決策和機器學習來提升業務了。Amazon已經非常努力地開發他們自己的推薦算法，嘗試去發現用戶的偏好，進而把這些偏好轉化成更高的銷售業績。廣告業的技術則是另外一種早期采用機器學習者，機器學習被用來提升點擊率（CTR）。在過去的這些年里，機器學習技術已經成熟并擴散到非常多的行業。
例如，推薦算法已經從僅僅通過推薦來探求更多的信息發展到了探索和搜索的組合。這里的挑戰是，當Amazon和Netflix使用推薦系統來收集數據時，如果他們僅僅是給用戶推薦高得分的物品，而不是他們商品目錄里的其他物品，他們獲得的是一個不完整的用戶偏好。這一問題的解決方案是微妙地從純搜索變化到添加一些因素來探索。
最近，因為它們內在的可以探索和搜索的特性，諸如上下文老虎機這樣的算法變的流行起來。這些算法可以更好地學習到它們還不了解的客戶的東西。相信我，在你訪問的很多Amazon網頁的背后都潛伏著老虎機算法。我們在Unity的博客上有一篇不錯的文章介紹上下文老虎機算法的威力。里面有一個對上下文老虎機算法的交互展示。
在2015年初，DeepMind將上下文老虎機算法進一步發展，并發表了一篇論文。其中介紹了一個把深度神經網絡和增強學習組合起來的大規模系統。這個系統可以精通Atari的2600個游戲里的很多個，還僅僅只是依靠原始像素和得分作為輸入就能取得超越人類的水平。DeepMind的家伙把探索和搜索的概念變成了興奮劑。雖然上下文老虎機在學習行為上還比較得淺，但深度增強學習則能夠學習一系列的行為用以最大化未來的累積收益。換句話說就是，它們可以學習優化長期價值（LTV）的行為。在一些Atari的游戲里，LTV通常是只有人類玩家掌握的一些策略發展。看這里的一個Breakout游戲的視屏來了解這種策略發展的例子。
在Unity，我們問自己如何才能讓一只小雞學會穿過一條交通繁忙的道路而不被來往的卡車撞死，同時還能收集禮物包。我們用了一個通用的和DeepMind的試驗類似的增強學習算法。它會給小雞一個正分如果它收集了一個禮物包，一個負分如果它被卡車撞死。另外，我們給小雞四種可能的行動：向前、后、左、右移動。僅僅使用圖像的像素和得分作為輸入，以及這些非常簡單的移動指示，在6個小時的訓練后，小雞就獲得了超越人類的水平。可以在這里看相關的視頻：
我們具體是怎么實現這一切的？實際上很簡單。一套Python的API讓我們可以把Unity的游戲與運行在Amazon云服務（AmazonWebServices，AWS）上的TensorFlow的服務連接起來。TensorFlow是Google在2015年發布的一個深度學習的框架。如你在這個視頻里看到的，在訓練的早期階段，小雞主要是在進行探索。但隨著學習的深入，它逐漸地轉變到搜索了。可以看到這一學習系統的一個重要能力就是它能成功地應對沒見過的情形。卡車出現和禮物包的位置的組合是完全隨機的。當小雞被訓練了幾個小時候后，統計意義上它還是會持續地的碰到沒有見過的場景。我們的PythonAPI能很容易地從游戲里讀取游戲框架和內部狀態，KUKA機器人示教器維修，并使用機器學習模型來反向控制游戲里的代理（比如小雞）。
現在讓我們對小雞和它超人的能力做一個反思。小雞游戲自身只是提醒了我們Amazon、Netflix和Uber是如何使用相同的技術來更好地服務他們的客戶（不管是Uber的無縫載客體驗或是Netflix給我展示按照我的口味定制的內容），工業機器人維修，不過它的確打開了在游戲開發中使用訓練而不是硬編碼的大門。
設想一下在游戲里訓練一個非玩家角色（NPC,non-playercharacter），機器人維修，而不是去編碼它的行為。游戲開發人員需要做的會涉及到創建一個NPC需要被訓練的游戲場景，他們會使用前面提到的PythonAPI連接云端的增強學習的環境來進行這個訓練。這個場景可以是完全人工設計的，或者是有NPC要去學習的一群人類玩家參與的。當NPC的表現令人滿意后，另外一套Unity的API會允許開發人員直接把TensorFlow的模型嵌入到他們的游戲里面去，從而消除了需要繼續把游戲連接到云端的TensorFlow服務的需求。
一些游戲開發人員可能會說他們在10到15年前最后嘗試機器學習時就已經這樣做了。但那是一個不一樣的時代。那時候，通過富于表達的循環神經網絡（RNN）比如長短期記憶（LSTM）來學習序列數據，以及通過卷積神經網絡（CNN）來學習空間特征等技術都已經被發明出來了。但缺乏計算能力以及缺乏可擴展和精細的軟件框架阻止了這些技術在實際中的成功應用，以及在諸如游戲開發這樣有需求的行業里被采用。
在游戲開發里使用深度增強學習依然處于它的早期階段。但對我們而言一切正在變得很清晰：類似于在其他大型企業里被證明的一樣，這是一個潛在的顛覆性游戲技術。諸如TensorFlow這樣成熟的、可擴展的、運行在云端并有集成的API接口的機器學習框架正在降低游戲開發人員和機器學習研究人員進入這個領域的門檻。正如機器學習正在進入企業的每個角落一樣，你應該也會期待在你的下一個游戲里面機器學習會無處不在。
ThisarticleoriginallyappearedinEnglish:"BringinggamingtolifewithAIanddeeplearning".