來源：人機與認知實驗室
作者：劉偉 萇凱旋
摘要：本文對人機融合智能的概念、應用、發展將面臨的關鍵問題以及未來發展的方向進行簡要介紹。
1 引言
1.1 現有人工智能的不足與挑戰
人工智能（AI）的概念于1956年的達特蒙斯學院暑期論壇首次提出。六十年間人工智能伴隨著互聯網、大數據、云計算等技術的發展取得了長足的進展。這其中人工智能的理論思想演變為三大流派，分別是聯結主義、行為主義和符號主義。盡管每種理論均取得了卓越的成就并且依舊為現在人工智能的主流研究方向，但是也均存在不足之處。聯結主義思想模仿人大腦皮層神經網絡的結構，通過深度學習方法，即用多隱層的處理結構處理大數據。但該方法限制于在具有可微分、強監督學習、封閉靜態系統任務下才會得到良好的結果，并且訓練得到的結果也限制于給定條件的問題上。行為主義思想通過不斷模仿人或生物個體的行為超越原有的表現來推進機器的進化，主要依賴具有獎懲控制機制的強化學習方法。然而該方法的缺點在于過于簡化人類的行為過程，忽略人類心理的內部活動過程，忽略意識的重要性。符號主義思想具有產生智能行為的充分必要條件假設，并且基于有限理性原理。該方法的實質是通過符號模擬人的大腦抽象邏輯思維過程，模擬人類認知系統的功能機理，并用計算機處理符號的運算，從而實現人工智能。但是符號主義思想面臨四個主要挑戰：1.知識的自動獲��；2.多元知識的的自動融合；3.面向知識的表示學習；4.知識推理與運用。符號主義雖通過模擬人的思維過程實現人工智能，但在以上四個問題難以有突破性的結果。
人工智能的優勢在于龐大的信息存儲量和高速的處理速度，但是無法處理如休謨問題，即從“是”（being）能否推出“應該”（should），也即“事實”命題能否推出“價值”命題[4]；也無法處理情感的表征問題。人工智能嘗試通過大數據與逐步升級的算法實現人的情感與意指依舊沒有辦法實現跨越。而人機智能融合將會是未來智能科學發展的下一個突破點。
1.2 人機融合智能
人機融合智能理論著重描述一種由人、機、環境系統相互作用而產生的新型智能形式，它既不同于人的智能也不同于人工智能，它是一種物理性與生物性相結合的新一代智能科學體系。人機交互技術主要涉及人脖子以下的生理心理工效學問題，而人機融合智能主要側重人脖子以上的大腦與機器的“電腦”相結合的智能問題。人機融合智能在以下三個方面不同于人的智能與人工智能不同：在智能輸入端，人機融合智能的思想不單單依賴硬件傳感器采集的客觀數據或是人五官感知到的主觀信息，而是把兩者有效地結合起來，并且聯系人的先驗知識，形成一種新的輸入方式；其次是在信息的處理階段，也是智能產生的重要階段，將人的認知方式與計算機優勢的計算能力融合起來，構建起一種新的理解途徑；最后是在智能的輸出端，將人在決策中體現的價值效應加入計算機逐漸迭代的算法之中相互匹配，形成有機化與概率化相互協調的優化判斷。在人機融合的不斷適應中，人將會對慣性常識行為進行有意識地思考，而機器也將會從人的不同條件下的決策發現價值權重的區別。人與機器之間的理解將會從單向性轉變為雙向性，人的主動性將與機器的被動性混合起來。人處理其擅長的“應該”（should）等價值取向的主觀信息，而機器不僅處理其擅長的“是”（being）等規則概率的客觀數據，同時也將從人處理“應該”（should）信息中優化自己的算法，從而產生人+機器既大于人也大于機器的效果。
人機融合采用分層的體系結構。人類通過后天完善的認知能力對外界環境進行分析感知，KUKA機器人維修，其認知過程可分為記憶層意圖層，決策層、感知與行為層，形成意向性的思維；機器通過探測數據對外界環境進行感知分析，其認知過程分為目標層知識庫，任務規劃層、感知與執行層，形成形式化的思維。相同的體系結構指明人類與機器可以在相同的層次之間進行融合，并且在不同的層次之間也可以產生因果關系。圖1為人機融合的示意圖。
圖1 人機融合智能
2 人機融合智能技術的應用
2019年，人機融合智能技術呈現一多分有的態勢，既關涉個人也與“群體”智能有關。人機融合智能中的人不限于個人，而且代表著以人為本的認知思維方式還包括眾人，機器也不限于機器裝備還代表著以計算機系統的機制機理。除此之外，自然和社會環境、真實和虛擬環境都會對人機融合智能的適應性產生影響等。人機融合智能著重于解決上述人機融合過程中產生的細節問題。
美國快公司（Fast）提及的“人與機器人融合的阿凡達（avatar）風格”案例。通過其配置的頭戴式顯示器，操作者可以看到機器人捕捉到的場景，并且機器人將操作者執行動作產生的反饋繼而傳達回給操作者，從而形成人機融合的信息閉環。遠程控制機器人傳遞了機器人對環境態勢的感知，而由人處理理解與決策，這是初級階段的人機融合智能。圖2中展現的T-HR3型機器人通過最新的5G網絡技術可以使機器人在長距離的工作環境中擺脫延遲影響，幾乎可以為用戶提供即時反饋。
該機器人對現實場景中的力的傳達也十分精確，它可以執行需要用力才能完成的任務：雙手拿球，抓起模塊并堆砌，甚至與人握手。在人機融合與機器人的實際應用下，豐田公司研發的最新的人機融合平臺將探索機器人與周圍環境之間物理交互的安全管理，以及一種能將用戶動作映射到機器人的新型遠程操縱系統。使得人機融合獲得更加流暢的體驗。
圖2 T-HR3型機器人
同時，在制造業行業人機融合智能也得到了重視與發展。曾經的工業流水線中機器人代替人類完成重復的機械工作。現今出現在制造業工業流水線中的人機融合智能依存于不同的硬件設備與環境條件，有的類似機器人助手，有的則是外骨骼套裝。寶馬公司的斯帕坦堡工廠里有一款“夏洛特小姐”的人機融合機器人，用來輔助車門的精確安裝。梅塞德斯奔馳公司也在開發人機融合技術，該公司面向每個個體客戶向奢華車型定制更加個性化的服務，利用數據與人工的結合使得這一服務得到可行。在使用人機融合智能取代了體積更大的自動化系統后，定制版S級轎車所需的特殊零件將不會帶來普通流水線提供時效性的麻煩，轉而替代的是更方便的操作與管理。麻省理工學院的教授朱莉·肖正在開發一種特殊的軟件算法，它的目的在于使得機器人理解人類發出的信息訊號，繼而解決機器人與人類的溝通問題。
3 人機融合智能未來的關鍵問題
目前人機融合智能的發展還在初級階段，人機融合智能的第一個關鍵問題，也是最重要的問題，是在于如何將機器的計算能力與人的認識能力結合起來。目前處在應用階段的人機融合中人與機器的分工明確，沒有產生有效的結合作用。人類在后天的學習中不斷拓展認知能力，所以人類能夠在復雜的環境下更為精準地理解到態勢的發展。通過聯想能力人能夠產生跨領域結合的能力，而這種認知聯想能力恰恰是缺失的。如何使得機器產生這種能力是實現真正智能的突破口。朱利奧·托諾尼的整體信息論（Integrated Information Theory，IIT）表明，一個有意識的系統必須是信息高速整合的。同時，進化出有仿認知能力的機器，需要保證人與機器之間的共同意識的存在。所以人和機器之間必須建立高速，有效的雙向信息交互關系。認知的基本在于抽象，而對于機器來說抽象能力決定了問題的限制環境，越是抽象的思維表征越能夠適應不同的情境。同時，高抽象能力也會帶來更普適的遷移能力，從而突破思維的局限性。一九七一年圖靈獲獎者約翰·麥卡錫發表觀點“與所有專門化的理論一樣，www.tka.net.cn，所有科學也都體現在嘗試中。當你試圖證明這些理論時，你就回到了嘗試推理，因為常識指導著你的實驗。”常識就是非結構化的多模態信息/支持的復合體，在認知里的常識是人類的先驗知識，而計算機的信息輸入恰恰忽略掉常識。所以研究知識本事，知識類型，知識原理也是突破認知與計算結合的關鍵。
人機融合的另一個關鍵問題是公理與非公理混合推理，直覺與理性結合的決策。公理是數學發展史中的理論基礎，而在科學研究過程中邏輯推導是最為核心的方法。相同的，計算機的運行過程依舊是按照嚴密的算法語言運行。但是人類的決策不同于這個過程，人類的聯想能力還依賴于類比推理。類比推理為非公理推理的一部分。非公理推理決定了在弱態勢情況下的強感知問題。這種學習方法依賴于先驗知識，通過利用大數據與概率的方法實現。而實現機器的非公理推理是人與機器的區別之一。更是人的情感在機器上實現的重要途徑。通過先驗知識人類產生直覺，而理性的分析是直覺的對立面。機器總是在理性地處理數據，而如何讓機器產生直覺能力是人機融合的平滑性的關鍵。公理與非公理推理，直覺與理性的結合決策將是解決人機融合智能輸出的重要研究方向。
人機融合智能的關鍵問題還包括介入問題，介入問題反應了人機融合的時機與方式問題。這個問題尤其在當人與機器出現對感知信息的不對稱，人與機器在決策的方向出現矛盾時。同時人機融合中的介入問題體現在團隊態勢感知之中，而團隊任務的比重也逐漸偏向于人機群的團隊態勢感知。團隊態勢感知中團員之間的交互包括接受、容忍、信任、匹配、調度、切換、說服，這是使得團員之間的合作產生團隊大于個人的條件。而人機融合中的介入問題與人與人之間的交互問題具有同樣的復雜度，從技術角度講，人機融合智能絕不僅是一個數學仿真建模問題，同時是一個心理學工效問題，還應是一個實驗統計體驗擬合的問題。
人機融合智能的最后一個關鍵問題是倫理問題。人類價值觀的起源是倫理學。從團隊態勢感知的嚴重中可以看出，人類本身擁有很多倫理道德困境，此外人工智能的出現也帶給了人類對待人工智能的倫理問題的思考。與此同時，人機融合智能的范疇歸屬是人機融合智能倫理問題的關鍵。人機融合智能的倫理不僅包括人工智能的倫理，其中包括人工智能的思想產生對于實際法律問題的影響。而且包括人機融合后的界定，所產生的行為是歸屬于人還是機器的思想。在思想之外，人機融合智能中設備作為人的一部分所產生的行為需要面對如何的法律責任，也是人機融合智能在接下來發展的問題之重。
4 人機融合智能技術未來的發展方向
4.1 信息融合與人機融合智能
信息融合起源于數據融合，或者說數據融合是信息融合的第一階段。數據融合利用多傳感器探測數據所得到的數據與結果形成單一傳感器無法得到的更準確可信的結論和質量。最早的數據融合限于硬件設備的差異多需加入人工的梳理，盡管如此傳感器依舊會因硬件問題帶來時效性和精度的問題，從而對后續的工作產生接二連三的影響。這使得研究向融合方式逐漸轉變。信息融合發展的第二階段除采用多傳感器探測數據還融入了其他信息源。同時，比起傳感器數據的融合，多信息源的信息融合方法和技術難度更大。需要從統計學和結構化模型邁向非結構化模型，以及人工智能技術和基于知識的系統。除此之外，信息融合正在不斷地加入態勢/影響估計等高級感知領域。現階段的信息融合模型依然僅采用海量數據規模、快速動態的數據體系、多數據類型和低數據價值密度。
信息融合是人機融合智能中關鍵的一環。在目前的兩個階段中，信息融合無論在理論上還是在技術和應用實現上都只在于力圖建立一個能夠自動運行的產品，嵌入到應用系統中或直接作為系統應用到相應業務活動中。而在傳統結構化數學模型和方法，如統計學、計算方法、數學規劃以及各種信息處理算法無法解決的目標識別、態勢估計、影響估計等高級融合問題，則求助于不確定性處理和人工智能技術。然而，當前不確定性處理技術特別是人工智能技術的發展與高級信息如人的需求相差甚遠。而在處理不確定性問題，涉及到“是”（being）的問題到“應該”（should）問題的轉變，是人的優勢所在。在信息融合系統運行過程中添加人的選擇判斷與行動管理是使得信息融合智能在觀測、判斷、分析與決策方面的高級感知領域取得質變的關鍵。
4.2 態勢感知與人機融合智能
態勢感知（Situation Awareness）概念最早出現在航空心理學中，描述飛行員對作戰飛行任務中態勢的理解。態勢感知的經典理論是Endsley于1995年提出的三級模型，其定義為人在一定的空間和時間內對環境中各要素的感知（perception）、綜合理解（comprehension）以及預測（projection）的能力。二十多年來SA的研究逐漸擴展到民航飛行員、空中交通管制員、核電廠的操作員、軍事指揮員等。在這些領域中，操作者的SA是影響決策質量和作業績效的關鍵因素，擁有良好的態勢感知對復雜和動態的系統，如航空，空中交通管制，機器人維修，飛機駕駛等任務中的決策起到了相當關鍵的作用。
態勢感知的概念出現在人機協同的工作中。在態勢感知的三級模型中，感知即獲取信息，而在高負荷的認知條件下信息的獲取主要依賴機器的傳感器，后經過計算機的處理呈現給操作員。三級模型中機器在感知階段扮演重要的角色。而在預測后的決策階段，同樣需要機器與人之間的協同判斷與分析。三級階段中彼此階段之間的人機分離是模型中的缺陷。而推動態勢感知中人與機器融合是實現態勢理解獲得良好績效的關鍵。在人、機器與環境構成的特定情境的組成成分常會快速變化，在這種快節奏的態勢演變中需要充分時間和足夠信息來形成態勢的全面感知與理解。同樣，人機融合智能也在態勢不足的情況下憑借先驗知識通過大數據處理分析輔助操作員的決策方面提供了若態勢下強感知的解決方法。
4.3 自主性與人機融合智能
自動化已經應用在了各種系統中，并且通常包括需要軟件提供要邏輯步驟與操作。傳統的自動化的定義為“系統在沒有/很少人為操作員參與的情況下運行：但是，系統性能僅限于其設計要執行的具體操作”。相比于自動化系統，自主性涉及使用額外的傳感器和更復雜的軟件，以便在更廣泛的操作條件和環境因素以及更廣泛的功能或活動范圍內提供更高水平的自動化行為。自主系統具有一定程度的自主行為（用人的決策代理）。通過軟件方法可以擴展到基于計算邏輯（或者更普遍地，基于規則的）方法以包括計算智能（例如，模糊邏輯，神經網絡，貝葉斯網絡）。另外，學習算法可以提供學習和適應不斷變化的環境的能力。自主是是自動化的一個重大擴展，在這種擴展中，高水平的面向任務的命令將在各種可能不是完全預期的情況下成功執行，就像我們目前期望智能人員在給予足夠的獨立性和任務時運行一樣執行權限。自主是良好的設計和高度自動化。
但是自主系統常面臨幾個常見的問題。自主系統的設計能力問題，即自主性在人與自動化之間的平衡問題。面臨新環境與一成不變的環境、輕度重復的工作與可信賴的重復工作、可不連續與始終如一、不可預測與可預測的博弈；操作員對自主系統的態勢感知能力，高級的自動化很容易讓操作員不了解自動化在做什么，所以需要給飛行員提供合適的參與度，保持與自主系統不脫節；輔助系統的問題，自動化的輔助系統常常給操作員很高的信任感，以此類比向專家求助問題，專家的標簽本身就帶來一種信任，而實際上真正對結果的評價應該在于問題本身的解答，而不是外在的標簽。同樣的輔助系統會給操作員帶來同樣的信任，但這種信任在有偏差的情況下會帶來災難；信任問題，信任問題受到系統因素、個人因素、情境因素的影響，自主系統對現實狀況帶來的錯誤的判斷會使操作員對系統的信任迅速降低，而怎樣讓操作員信任自主系統，在此心理環境下做出更好的任務操作很重要。
人機融合智能中的一個重要課題如何解決人與自動化的平衡問題，人與機器之間的信任問題。自主系統下也需要以人為中心，并不需要尋求完全用機器取代人，人在其中的控制和指揮是必不可少的。所以需要更加靈活的自主性，和自主權的切換。隨著系統能力的提升，自主性的水平也在提升。決策輔助為操作員提供潛在的選項，而監督控制是操作員可以適當地干預。具體情境下使用何種水平的自主性系統是動態變化的，比如在風險低的情境下可以使用高度的自動化，而在風險發生變化之后應該調控人在自助系統中的參與度。共享人和機器的態勢感知也非常重要。即便在相同的顯示器下處于相同環境中的人也會因為不同目標和心理模型，從而對未來的預測也是不同的。自主系統通過傳感器獲取信息理解世界的方式和人不同。所以需要對人和機器的態勢感知進行共享。具體體現在目標一致，功能分配和重新分配，尋找人與機器各司其事的平衡，決策溝通，包括對戰略、計劃和行動，以及任務調整，因為任務通常需要對雙方都有緊密的依賴。從這四個方面需要保持自主系統和人的態勢感知保持一致性。
5 結束語
盡管人機融合智能的發展尚在初級階段，但其概念中所傳遞出來的思考為人工智能注入了活力。人機融合智能在一些實際場景中初步取得了成果，未來還會在醫療、軍事、機械等更多領域繼續取得進步。人機融合智能是主客觀的結合，是靈活的意向性與精確地形式化的結合。人機融合智能將會是接下來人工智能發展的一個重要分支。