AI根據(jù)“記憶”生成超逼真場(chǎng)景，游戲終于要以假亂真了
最近十多年來(lái)，人工神經(jīng)網(wǎng)絡(luò)的研究工作不斷深入，取得了很大的進(jìn)展：在模式識(shí)別、智能機(jī)器人、自動(dòng)控制、預(yù)測(cè)估計(jì)、生物、醫(yī)學(xué)、經(jīng)濟(jì)等領(lǐng)域已成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問(wèn)題。這一次AI又一次向人類展現(xiàn)了極大的潛能。不僅能記憶，識(shí)別，甚至開(kāi)始自己想像？！斯坦福大學(xué)的陳啟峰利用人工神經(jīng)網(wǎng)絡(luò)生成了現(xiàn)實(shí)感極強(qiáng)的虛擬世界。但是，AI的想象要想呈現(xiàn)逼真的效果，不僅要技術(shù)，工業(yè)機(jī)器人維修，還需大量人力。本文編譯自NewScientist發(fā)表的原題為AIartistconjuresupconvincingfakeworldsfrommemories的文章。
世界不思議
上圖的照片是德國(guó)街道的景象。乍看上去像是行車記錄儀拍下的模糊照片，或者是經(jīng)過(guò)修圖軟件修過(guò)的快照，讓照片看起來(lái)有點(diǎn)朦朦朧朧。
然而，你在Google地圖上哪里也找不著這個(gè)地方。因?yàn)樗怯扇斯ど窠?jīng)網(wǎng)絡(luò)想象出來(lái)并生成的圖像，神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后，由它對(duì)真實(shí)街道的記憶拼接而成。
人工神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)考其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息。
--美國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)家HechtNielsen對(duì)人工神經(jīng)網(wǎng)絡(luò)的定義
圖中沒(méi)有一樣?xùn)|西真實(shí)存在。加州斯坦福大學(xué)陳啟峰說(shuō)。事實(shí)上，他的AI通過(guò)大致的布局，知道圖中每一個(gè)部分大概是什么物件。圖像中心可能標(biāo)記著路，途中其他地方可能寫(xiě)著樹(shù)，車等等。這幅圖是由AI藝術(shù)家用數(shù)字繪制的。
左邊是輸入的圖像語(yǔ)義布局，右邊是生成的圖片
陳啟峰說(shuō)，這項(xiàng)技術(shù)最終可能用來(lái)創(chuàng)造與真實(shí)世界非常相似的游戲世界。運(yùn)用深度學(xué)習(xí)來(lái)制作電子游戲或許是我們未來(lái)的發(fā)現(xiàn)。他已經(jīng)開(kāi)始試著用算法來(lái)替代俠盜獵車手5的游戲世界了。
要做到逼真前路漫漫
紐約康奈爾大學(xué)的NoahSnavely贊嘆不已。他解釋說(shuō)，要實(shí)現(xiàn)逼真的人工世界是很難的，即使是現(xiàn)有的最棒的技術(shù)也做不到。陳啟峰的系統(tǒng)的成果是他所見(jiàn)過(guò)的同類型實(shí)驗(yàn)結(jié)果中規(guī)模最大，細(xì)節(jié)最豐富的。
Snavely還說(shuō)，這項(xiàng)技術(shù)能夠讓人們能夠創(chuàng)造虛擬世界：先由人作描述，再用AI在虛擬現(xiàn)實(shí)中搭建這個(gè)世界。如果只要通過(guò)描述便能夠構(gòu)造現(xiàn)實(shí)般逼真的世界，那就太棒了。
陳啟峰的系統(tǒng)首先處理一張它未見(jiàn)過(guò)的照片，照片上是現(xiàn)實(shí)中存在的街道。但是這張照片上做了標(biāo)記，所以AI知道哪個(gè)部分是車，哪個(gè)部分是人，哪個(gè)部分是路等等。然后AI就用這張圖的布局作為一個(gè)向?qū)В瑏?lái)生成一張全新的圖像。
第一行是輸入的語(yǔ)義布局，第二行是陳啟峰AI得出的結(jié)果，第三行是別的系統(tǒng)得出的結(jié)果，可見(jiàn)陳啟峰的AI得出的結(jié)果更具實(shí)感
這個(gè)AI接受三千張德國(guó)接到圖片的訓(xùn)練后，當(dāng)它處理到照片上標(biāo)記這車到地方學(xué)習(xí)，庫(kù)卡機(jī)器人何服電機(jī)維修，他就用已有知識(shí)來(lái)獨(dú)立生成一輛車。我們想讓這個(gè)網(wǎng)絡(luò)記住他在數(shù)據(jù)中曾經(jīng)看過(guò)什么。陳啟峰說(shuō)。
英特爾的研究人員將在今年10月末在意大利威尼斯舉行的計(jì)算機(jī)視覺(jué)*國(guó)際大會(huì)上展示他們的成果。
如夢(mèng)如幻似真非真
還有一個(gè)較小的室內(nèi)家居數(shù)據(jù)庫(kù)用以訓(xùn)練和測(cè)試這個(gè)算法，Snavely覺(jué)得要發(fā)揮這個(gè)算法的潛能，需要一個(gè)能夠真實(shí)反映世界多樣性的數(shù)據(jù)集。但是，說(shuō)起來(lái)容易做起來(lái)難，因?yàn)橛糜谟?xùn)練的圖像中每個(gè)成分都需要人力親手進(jìn)行標(biāo)記，即使是創(chuàng)造一個(gè)較小的數(shù)據(jù)集，由于其細(xì)節(jié)豐富，也需要大量人力。
最左側(cè)是給AI提供的語(yǔ)義布局，庫(kù)卡機(jī)器人，左二是AI得出的結(jié)果。右邊三列是其他不同質(zhì)量的效果。
陳啟峰說(shuō)，他的系統(tǒng)還需要經(jīng)過(guò)漫長(zhǎng)的努力才能夠打造真實(shí)的世界。目前它生成的圖像仍然朦朦朧朧，亦真亦幻，因?yàn)樯窠?jīng)網(wǎng)絡(luò)還無(wú)法將我們期待的細(xì)節(jié)巨細(xì)無(wú)遺地填充到照片中。陳啟峰已經(jīng)開(kāi)始開(kāi)發(fā)一個(gè)規(guī)模更大的系統(tǒng)，希望新系統(tǒng)的功能更完善。
然而，在虛擬現(xiàn)實(shí)中構(gòu)建場(chǎng)景時(shí)，或許朦朦朧朧的質(zhì)感并不是件壞事。Snavely說(shuō)，我們對(duì)電影和游戲中精細(xì)現(xiàn)實(shí)的場(chǎng)景已經(jīng)見(jiàn)怪不怪，習(xí)以為常，但是大家對(duì)虛擬現(xiàn)實(shí)精細(xì)程度沒(méi)有抱有那么高的期待。不需要做到完全跟現(xiàn)實(shí)一樣
*計(jì)算機(jī)視覺(jué)是一個(gè)跨學(xué)科領(lǐng)域，涉及如何使計(jì)算機(jī)理解數(shù)字圖像或視頻。從工程學(xué)的角度來(lái)看，它的目標(biāo)是將人類視覺(jué)系統(tǒng)的功能自動(dòng)化。計(jì)算機(jī)視覺(jué)任務(wù)包括一系列方法，讓計(jì)算機(jī)能獲取、處理、分析和理解數(shù)字圖像以及從真實(shí)世界中提取的高維數(shù)據(jù)，從而產(chǎn)生數(shù)字或符號(hào)信息。理解這個(gè)環(huán)境，意味著視覺(jué)圖象（視網(wǎng)膜的輸入）轉(zhuǎn)換成對(duì)世界的描述，這些描述可以與其他思考過(guò)程接口并引發(fā)適當(dāng)?shù)男袆?dòng)。這種對(duì)圖像的理解，可看做是用幾何、物理、統(tǒng)計(jì)學(xué)和學(xué)習(xí)理論構(gòu)建出模型來(lái)解析圖像數(shù)據(jù)中符號(hào)信息。計(jì)算機(jī)視覺(jué)的子域包括場(chǎng)景重建、事件檢測(cè)、視頻跟蹤、目標(biāo)識(shí)別、3D位姿估計(jì)、學(xué)習(xí)、索引、運(yùn)動(dòng)估計(jì)和圖像恢復(fù)。