道阻且長，AGI的黎明不會很快到來。但正因為這樣的AI研究機構的努力，才能讓暗夜中探索的人們始終心懷火種。

通向AGI（通用人工智能）的道路上，始終有一道巨大的鴻溝橫亙在研究者的面前，那就是人工智能對于因果關系的理解。因果關系的推斷，首先對于人類本身就是一個極為復雜的問題。

無論是必然性推理還是或然性推理，人類總能在復雜的事物關系中建立精妙地因果推論。且無論對錯，這種能力都讓人類能力超群，成為站在生物鏈頂端的那顆孤星。

想象一下，假如你帶著女兒去參加一個夏令營，在那里你遇到一個成年女人帶著一個小女孩。你很可能會斷定那個女人是小女孩的母親。過了幾個星期，你又在你住的附近的一家咖啡店里，你再次看到這個小女孩，但這次她是由一個成年男人帶著。

基于這兩段觀察到的事實，你基本可以推斷，這個男人和女人有一定的關系。但是否是夫妻關系或者別的關系，就會涉及到更多信息，諸如男人和女人的年齡、衣著品味和小孩子的親密程度等等信息。

在這一場景中，我們可以基于在較大跨度的時間、地點中的發(fā)生的事實關系進行相關的因果推論。我們把這種在復雜的事物關系中的這種推論稱為“長距離推理”。

AI能否掌握這一能力？

對于目前熟知的一些AI技術，通過數據庫對他們進行人臉識別很容易；如果再給定他們相關身份的知識圖譜，AI也可以認出他們。但如果僅給出以上事實場景（對于AI來說是單獨的圖像），而不提供任何其他信息，AI能否從圖像描述的事實中建立起因果推理么？

這一次，DeepMind的最新研究中為AI進行 “長距離推理”提出了一種解決方案。

近日，DeepMind公開發(fā)表了一篇為ICLR 2020會議提交的論文《MEMO：一種用于情景記憶靈活組合的深度網絡》。論文主要提出了一種可以增強現(xiàn)有深度神經網絡架構的推理能力的新架構——MEMO。

MEMO具有長距離推理的能力，即能夠發(fā)現(xiàn)在記憶中的多個事實之間的長距離的關系。

那么MEMO的實際表現(xiàn)如何？MEMO這一新的深度神經網絡對于AI發(fā)展的意義是什么？這些問題仍然需要我們思考和解答。

為什么長距離推理如此重要？

為了討論長距離推理的重要性，首先我們需要知道感知、記憶、命名、事實、判斷以及推理、行動的內涵和關系。

歷史學家尤瓦爾·赫拉利在《人類簡史》中提到的“人的虛構能力”也就是“人可以想象不存在事物的能力”成為智人戰(zhàn)勝其他物種的決定因素。但他仍然把復雜問題的解釋簡單化了。只要你認真審視自己的日活生活，我們幾乎都在按照上述認知能力在思考和行動。

我們通過感官認知外界形成感知，這時只是一些時空中的感性要素；然后由我們大腦區(qū)分后對其中特別注意的要素（其他大量信息淪為認識的背景）進行命名，從而形成一個事實；再通過大腦的聯(lián)接能力，把命名通過邏輯詞連接起來形成判斷；然后，通過過去經驗的總結和對未來的想象，我們形成相應的推理，最后據此形成計劃和實施步驟，最后形成行動。

當然，這一系列過程都幾乎發(fā)生在認知的短暫瞬間，以致于很多人忽視認知的復雜性。

我們可以舉一個形象的例子。就在寫作此文的同時，筆者的二歲半的女兒已經在客廳拿著塑料的噴壺和鏟子對著空氣做出舀水、噴水的動作，同時還喊出“水、濕了、擦擦”的單詞。

兩歲半的女兒就如同人類的童年時代，她學會觀察和區(qū)分了身邊的物品，然后又學會給不同的事物命名（杯子、鞋、壺），然后又能理解事物之間的關系做出因果推斷（壺可以用來盛水、鏟子可以用來搬運東西）。

并且最厲害的是，她還能虛構眼前不存在的事物，就如同孩子在想象用鏟子給噴壺舀“水”，又把“水”從噴壺里倒了出來，弄“濕了”地面或者她的鞋子。甚至于她還能“條件反射”地想起大人們曾反復強調“弄濕了東西要擦干凈”的訓誡，試圖去找東西來擦拭根本不存在的“水”。

如果說許多動物能夠制作和使用工具，而且使用起來比二歲小孩還熟練，但他們仍然無法完成人類小孩對于并未實際發(fā)生事情的想象的推理和計劃能力。這份獨屬于人類的天賦怎能不令我們驚奇和驕傲。

借用圖靈獎得主朱迪亞·珀爾在《為什么：關于因果關系的新科學》對于人的三種不同層級的認知能力的區(qū)分：觀察、行動和想象（seeing、doing、imagining），我們再深入探討下當前人工智能可以做哪些或者說還不能做哪些？

第一層是觀察能力，即觀察到事實A與事實B，隨后建立起事實A與事實B的判斷X，基于判斷X，會影響我們得出另外一個結論Y。

比如哲學上經典的三段論：我們觀察到一個人（事實A），人們都把他稱作蘇格拉底（事實B），我們得到“蘇格拉底是人”（判斷X）；我們還掌握了一條顛撲不破的真理：凡人皆有一死（判斷Y）；最后，我們得出：蘇格拉底會死（結論Z）。

請不要小看這一能力，我們正是依靠強大的判斷能力形成經驗，讓人類從嚴酷的自然選擇中獲得勝利。

第二層是干預能力，即實施干預X或Y，會造成怎樣的結果Z。以上例子繼續(xù)假設，如果我們對“蘇格拉底是人”進行干預，比如，當時的人們將蘇格拉底神圣化為像耶穌一樣的人物，即使他確實是喝下毒藥而身亡，但因為已經“從人變成了神”，所以，我們就可以得出“蘇格拉底沒有死”的結論。

這一假設看似荒誕，正是由于這些能力，我們可以進行育種、畜牧、開采，建立宗教、城邦和帝國組織等，人類文明短短幾百年對自然的干預已經超過之前數百萬年的影響。

第三層是反事實的能力，涉及到人類的想象和反思能力。即如果判斷X或Y引起了結論Z，那么，如果X、Y沒有發(fā)生，那么結論Z也會變化。

再假設，人類發(fā)明了時間機器且發(fā)明了長生不死的藥物，那我們回到古希臘雅典的監(jiān)獄，將毒藥換成了長生不死藥喂給了蘇格拉底，判斷Y被推翻，同樣改變了結論Z。

正是這些更為夸張的想象，讓人類提出科學假說、建立像相對論、量子力學等等的知識系統(tǒng)，進行文學藝術創(chuàng)造等非凡能力。

那么，目前人工智能處在模仿人類智能的哪個層級。如果你對人工智能有多少樂觀，那結論就會有多失望。

目前即使是成果斐然的深度學習算法，仍然處在這三層認知能力的第一層，其智慧的難度跟貓頭鷹觀察老鼠出沒與否的能力不相上下。

盡管機器學習尤其是深度學習算法在比如圖像識別、語音識別、無人駕駛、棋牌游戲對戰(zhàn)等眾多領域可以超過人類，但其模式仍然是“由一系列觀察結果驅動，致力于擬合出一個函數……深度神經網絡只是為擬合函數的復雜性增加了更多的層次，但其擬合過程仍然由原始數據驅動……處于因果關系之梯的任何運行系統(tǒng)都不可避免地缺乏這種靈活性和適應性?！?/p>

這意味著，機器學習及深度神經網絡的算法，只是利用對于輸入數據的相關性關系的擬合，而不理解因果關系。那么人工智能就不能從第一層認知上升到第二層級，無法回答有關干預的種種問題。

以上作為理解背景稍顯冗長。但MEMO所完成的長距離推理能力，在我們所述的三個認知層次上有了一個顯著性的位置。MEMO成為深度神經網絡開始具備長距離因果推理能力的一次成功嘗試，也許可以視作人工智能從第一層級向第二層級的躍遷上搭建了一個更好的階梯。

MEMO算法的創(chuàng)新之處

首先，MEMO參考了神經科學中的“聯(lián)想推理”的能力，他們從最新的對海馬體的研究中獲得了方法靈感。海馬體通過一種被稱為“模式分離”的過程中進行獨立地記憶儲存，以最大限度地減少記憶之間的干擾。同時最新的研究又指出，這些被獨立存儲記憶通過循環(huán)機制進行檢索以實現(xiàn)整合，從而支持眾多單個經驗的靈活組合，以推斷其未曾觀察過的關系。最終由此而形成推理。

DeepMind 研究人員稱，他們正是從這一神經科學模型的研究中獲得啟發(fā)，來研究和增強機器學習模型中的推理能力。MEMO 相較于之前的推理系統(tǒng)，引入了兩個新的組件：

• 第一它引入了存儲在外部記憶中的事實與構成外部記憶中這些事實的項之間的分離；
• 第二個它利用自適應檢索機制，在產生答案之前允許有一些可變數量的“記憶躍點”。

進一步解釋下。第一個組件：MEMO采取了基于EMN（End-to-End Memory Networks，端到端記憶網絡）的呈現(xiàn)外部記憶表征的基本結構，但其新結構中加入了通過參照海馬體機制設計的新的任務PAI（Paired Associative Inference，聯(lián)想配對推理），它允許對記憶中的單個元素進行靈活的加權，以增強推理的能力。

第二個組件：在運行中，還需要解決計算時間過長的問題。在標準的神經網絡中，計算量是基于輸入的函數的大小而增長，而MEMO更希望讓計算時長跟任務的復雜度相關。

為此，它從人類聯(lián)想記憶的模式中引入了一種被稱為“REMERGE（重現(xiàn)）”的模型。在該模型中，從記憶中檢索到的內容作為新的查詢被重新循環(huán)，然后利用在重新循環(huán)過程中的不同時間步驟檢索到的內容之間的差異來計算網絡是否適應在固定點上。

MEMO可以采用一種“終止策略”，通過網絡輸出一個動作（在強化學習的意義上），表示它是否希望繼續(xù)計算和查詢其記憶，或者它是否能夠回答給定的任務。并在強化學習中引入一個新項——二進制停止隨機變量（the binary halting random variable），以最小化預期的計算步驟。

基于這兩個新組件的加入，MEMO在下面三個經驗性結果的任務測試中取得顯著的優(yōu)勢成績，從而也證明了這兩個組件的有效性。

三組結果驗證：MEMO與另外兩種內存增強架構：EMN和DNC（the Differential Neural Computer，微分神經網絡）以及UT（Universal Transformer，普遍轉換器，bAbI任務套件中的最新模型）進行了比較。

（1）關于聯(lián)想配對推理：在較小集合的推理查詢上，MEMO可以和DNC一樣達到最高的準確度，而EMN即使有4或10跳，也不能達到相同的準確度，而且UT也不能準確地解決這個推理測試。而對于較長的序列結合（即下面的長度4和5），MEMO是唯一成功地回答最復雜推理查詢的架構。

（2）對于隨機生成圖形的最短路徑的測試：表 2 顯示與查找最短的兩個節(jié)點之間的路徑。在只有10個Nodes的短路徑上，DNC、UT和MEMO具有完美的預測時中間最短路徑節(jié)點的準確性。在20個Nodes的長路徑上，MEMO 在具有高度連通性的更復雜的圖形中優(yōu)于 DNC，在最短路徑中預測兩個節(jié)點時，效果更超過 20%。

（3）關于BABI任務的問答測試上：在10k訓練集中，將 MEMO 與兩個基準模型以及UT模型進行了比較，結果顯示，MEMO唯一能夠在較長的序列上成功回答最復雜的推理查詢的體系結構。

顯然，MEMO在基于記憶表征的長距離推理的改進非常明顯，而其創(chuàng)新之處在于它采用了神經科學所應用于測試推理的聯(lián)想配對推理方法的新型結構。

這也從反面證實了神經科學中關于記憶推理的假設：記憶中事實元素的分離儲存與強大的注意力機制組合，在通過對記憶存儲中的單個元素的靈活組合來實現(xiàn)推理。

MEMO：通往AGI的正途？

從一開始，AGI就是DeepMind誕生之初的目標。DeepMind創(chuàng)始人德米斯·哈薩比斯很早就采用了神經科學的方法來研究AGI。

早在2010年8月，DeepMind創(chuàng)立前的三個月，哈薩比斯經在當年的奇點峰會上發(fā)表了一個題為“一種通過系統(tǒng)神經科學方法構建AGI”（A Systems Neurosciences Approach To Building AGI）的演講。

在演講中，他回應了之前兩種接近AGI的方向：

• 一是通過象征性AI，即通過描述和編程體系來構造人類大腦的思考體系，其失敗之處就是操作難度太大，難以真實描述大腦的結構。
• 二是通過數字形式復制大腦的物理網絡結構，這一方法很有意義，但這一任務重點放在還原大腦的物理功能卻不能解釋人類智慧的運行規(guī)則。

經過比較，哈薩比斯采取了折中路線：AGI應該從大腦處理信息的宏觀方法中得到啟發(fā)，而不是從其物理結構或者說大腦的特定腦區(qū)功能去尋找方法。

簡言之，AGI應專注于理解人腦的軟件功能，而非硬件功能。通過磁共振成像(FMRI)等新技術，使得人們可以觀察人類各種思維活動時大腦內部的活動，從而可以理解其運作機制。而AI研究應當效仿人類的大腦系統(tǒng)。

這奠定了DeepMind的研究思路，人工智能就應該像人一樣學習和思考。這意味著，DeepMind堅信，神經科學研究所找到的“大腦算法”可以被神經網絡所參照和使用。

反過來，這套機制在神經網絡機制上的成功實踐，又反過來促進神經科學的發(fā)展。顯然，從MEMO的效果而言，模擬人腦神經網絡機制的方法似乎可以作為通向AGI的一條通路，但這條路也絕不是坦途，比如眼前這道“因果關系推理”的巨大鴻溝。

MEMO的提出，僅僅是在為跨越這道溝壑搭建出的一步重要的階梯。在通向AGI的征途里，深度學習等技術還將持續(xù)進化，它需要先沿著“因果關系”的這道鴻溝向下，深入到人類因果性認知的各個低谷，比如跳躍式聯(lián)想、條件干預的因果預測、反事實推理等等，才有可能重新向上跨越鴻溝。

道阻且長，AGI的黎明不會很快到來。但正因為DeepMind這樣的AI研究機構的努力，才能讓暗夜中探索的人們始終心懷火種。

#專欄作家#

腦極體，微信公眾號：腦極體

本文原創(chuàng)發(fā)布于人人都是產品經理。未經許可，禁止轉載。

題圖來自Unsplash， 基于CC0協(xié)議