一文帶你讀懂DeepMind新論文，關聯推理為什么是智能最重要的特征
每一次DeepMind發布一篇新論文，工業機器人維修，媒體都會瘋狂地報道。其中不乏許多讓人迷惑的術語。比如就有未來主義者這樣報道：
DeepMind開發了一個可以感知周圍事物的神經網絡。
這不僅僅誤導人，還嚇跑了那些沒有接受過博士階段的學習的人。所以在這篇文章里，我打算用盡量簡單的語言來解釋這個新的神經網絡架構，這篇文章也要求一些神經網絡方面的基礎知識。
什么是關聯推理？
簡單來說，關聯推理是去學習不同物體（想法）之間的聯系，這被認為是智能最為重要的特征。論文作者用了一個圖形示例來解釋：
從關聯問題的角度來看，上圖的模型需要檢查不同形狀、尺寸、顏色的物體，還能夠回答和多個物體相關的問題。
關聯網絡
作者提出了能夠抓住物體內在聯系的神經網絡（正如卷積神經網絡能夠提取圖像的性質）。他們提出了由下式定義的架構：
公式解釋：
神經網絡和函數
當我們在學習神經網絡，做反向傳播之時很容易忘了，一個神經網絡實際上只是一個簡單的數學函數！因此，方程（1）所描述的函數是一個神經網絡！更準確的說，機器人維修，其中有兩個神經網絡：
關聯網絡是靈活的
作者以一個模塊的形式提出了關聯神經網絡。它可以接收被編碼了的物體并學習其中的關系。但更重要的是，關聯神經網絡可以被嵌入于卷積神經網絡（CNN），和以長短時記憶單元[Z1]（LSTM）為基礎的遞歸神經網絡中。
卷積神經網絡可以被用于從圖像中學習物體，這使其更易于被應用。因為能在圖像中進行推理比在用戶指定的物體中進行推理明顯更有用。
伴隨著詞嵌入，長短時記憶單元（LSTM）可以被用于理解模型被問及的問題的含義。這是很有用的一個變革，因為模型現在可以接收英文句子而不是預先定義好的物體。
作者提出了結合關聯網絡，卷積神經網絡和長短時記憶單元來構建一個端到端的、能學習物體之間關聯的神經網絡。
上圖解釋：
圖像經過一個標準的卷積神經網絡（CNN），從中提取出圖像的特征。關聯神經網絡的輸入對象是網格中每一個點的特征向量。比如說其中一個對象是黃色的向量。
問題被傳入長短時記憶單元（LSTM）中，www.tka.net.cn，產出了一個關于問題的特征向量。也就是這個問題的點。
同時對方程（1）進行了一些修改，加入另一項使其變成：
在上面的公式中，注意到比起方程1多了一個q項。這個q是長短時記憶單元的最終狀態。現在關聯性是條件于q的。
在此之后，神經網絡輸出的對象和長短時記憶單元輸出的特征向量被用于訓練關聯網絡。
基準
作者在幾個數據集中展示了該模型的效果。這里我們討論其中一個數據集（在我看來最顯著的一個）CLEVR數據集。
作者指出他們的模型比其他方法在精確度上高很多。這是因為關聯網絡就是為學習關聯性而設計的。
相對于注意力堆模型僅僅75%的準確率，他們的模型達到了96%+的準確率。
結論
關聯網絡十分擅長高效地學習關聯性。同時靈活，可以結合卷積神經網絡和長短時記憶來一起解決問題。
這篇博文意在破除由于大量論文發表導致人工智能已經接管了一切的假象，并介紹當下最先進的算法是什么樣的。