淺談人機互動及機器人的行為設計
本文翻譯自作者博士論文《Desigining Robot Behavior in Human-Robot Interactions》第一章。論文地址：https://escholarship.org/uc/item/8tz6x0t9
人機互動（Human robot interactions, HRI）是未來機器人的關鍵構成部分，在許多領域有著廣泛的應用，如製造業、交通運輸、服務業、以及娛樂業。
在工廠裡，機器人正在離開它們的籠子，開始與工人們合作。工業製造商們正在柔性生產線中引入協作機器人，這樣的人機生產單位可以有效地將人類的靈活性和機器人的高效性結合起來。同時，自動駕駛汽車將徹底改變當今的交通系統和人們的出行方式。但是，當自動駕駛汽車在公路上與人類駕駛的車輛進行互動時，這對道路安全提出了新的挑戰。另一個例子是醫療康復領域的外骨骼機器人。這些外骨骼機器人常被用來幫助中風患者重新行走。患者和機器人之間存在密切的物理接觸和互動。其他的諸如護理機器人或機器人導盲犬都存在很大的需求，且涉及人機互動。
上述應用對社會和經濟有著巨大的影響。未來的機器人將與人類比肩。它們是能夠自主決策的獨立實體，能與物理世界互動的智慧執行器，並且是具有豐富感官和理性批判的觀察者。最重要的是，他們能與人類建立社會關係。我們稱這樣的機器人為協同機器人（Co-Robot）。
當然，設計協同機器人在技術上非常具有挑戰性。傳統機器人的工作環境是結構化和確定的。而協同機器人需要在高度非結構化和隨機環境中執行。最基本的研究問題是：如何保障協同機器人在動態不確定環境中安全且高效地執行。
由於人機互動的廣泛性和複雜性，在解決基本問題時需要考慮以下幾個方面，下文中會詳細闡述。
• 多種互動模式
協同機器人的潛在應用存在於不同的領域，具有不同的互動模式。為各種模式的人機互動應用設計一個統一的模型是必不可少的。該模型可以用來提供對人機互動的全面理解，指導機器人行為的設計，並作為人機系統性能評估的分析框架。
• 行為設計及其軟體實現
行為是對內外環境因素刺激所做出的能動反應。我們研究設計機器人行為的方法，即如何在設計範圍內（機器人系統的輸入和輸出）實現設計目標（以確保協同機器人在動態不確定環境中高效安全地執行）。被設計過的行為將以軟體程式碼的形式被儲存在機器人硬體中。當環境或任務變得更加複雜時，軟體的複雜性將急劇增加。為了確保機器人能及時對環境變化做出反應，並確保機器人在操作過程中的安全性，實時的計算和驅動至關重要。這依賴於高效的演算法。
• 複雜人機系統的分析、綜合和評估
機器人行為是否設計得當，需要在人機系統中進行評估。評估既可以在理論上進行，也可以在實驗上進行。理論分析的難點在於，軟體模組之間的耦合大大增加了系統的複雜性。而進行實驗的難點在於，當人類作為受試者處在實驗環境中，為人類安全起見，系統對失敗的耐受性極低。因此，為人機系統開發有效的評估平臺至關重要。
1. 互動模式
人與機器人之間的互動可以有各種模式。我們將它分為兩種關係：平行關係（Parallel relationship）和層級關係（Hierarchical relationship）。
平行關係
在平行關係中，人和機器人是兩個獨立的實體，它們各自獨立做出決定，在文獻中也稱為同伴互動（peer-peer interaction）[30]。並行關係的典型示例是：自動駕駛汽車與人開的車之間互動，工業協作機器人和生產線中的工人之間的互動。在這種情況下，機器人（自動駕駛汽車或工業協同機器人）和人（人開的車或工人）是對等的，而不是主從關係。在下圖所示的平行關係中，人和機器人的動作有時需要同步（synchronized），比如當人和機器人共同移動一個工件時，有時則需要非同步（asynchronized），比如兩輛車在過十字路口時，不能同時佔用衝突區。我們將同步操作稱為協作（collaboration）；將非同步操作稱為競爭（competition）——總會有一輛車首先通過沖突區域。競爭是最常見的互動模式。如果人類和機器人競爭的資源是空間，競爭可以被理解為避免碰撞。
層級關係
在層級關係中，人或機器人將一部分決策權讓渡給了另一方。下面列出了層級關係中的典型示例，如下圖所示。
-
自動駕駛汽車與車內乘客之間的互動，其中人類乘客將駕駛權轉移至車輛。
-
機器人護士和患者之間的互動，其中機器人決定患者的運動軌跡。
-
人和輔助裝置（如外骨骼）之間的互動。人類可以由機器人引導，但也可以“對抗”機器人。
-
人類駕駛員與駕駛輔助系統之間的互動。駕駛輔助系統可以作為“守護天使” [56] 存在。它允許人類在安全情況下做決策，但它會在緊急情況下接管。另一種輔助系統更像“奴隸系統”。它在安全情況下負責做決策，在緊急情況下要求人類接管。
-
人類老師與機器人學員之間的互動，例如人類通過示範教授機器人技能。在這種情況下，機器人遵循人類決定的軌跡。
-
操作員和遠端操作機器人之間的互動，其中機器人完全遵循人類的命令。
如以上示例中所討論的，責任分配因不同層級互動而不同。當人類主宰決策過程時，它又被稱為監督式互動 [99]。
上面講述的是單人和單機器人之間的互動模式，多人和多機器人之間的互動模式可以從這些基本的互動模式中衍生出來。論文的第二章將提出一個多智慧體模型，以提供一個統一的框架來分析各種型別的互動，其中個體的人或機器人都將被視為智慧體。
2. 設計機器人的行為
我們從物理運動的角度研究行為設計，例如： 如何在互動過程中產生安全高效的運動軌跡。
行為系統三要素
為了生成有效的機器人行為，我們需要
-
向機器人提供正確的知識，知識包括兩個要素，體現任務要求的成本函式，和描述環境動態的世界模型；
-
設計正確的邏輯策略以讓機器人能自主地將知識轉化為行動；
-
設計學習過程以更新知識和邏輯，以使機器人適應未曾預見的環境。
知識，邏輯和學習是行為系統的主要組成部分，如下圖所示。在框圖中，機器人從有人類參與的環境中獲取資料π，並根據邏輯函式g生成動作u，通常而言，這個對映是在世界模型的基礎上最小化成本函式計算得到的。學習過程基於資料π更新知識和邏輯。學習模組是非常必要的，因為設計的知識可能無法涵蓋所有可能的場景，而且環境可能是隨時間變化的。該數學模型將在第二章中進一步說明。
機器人的一生
機器人的一生分為三個階段：設計階段，訓練階段和執行階段，如下圖所示。我們將前兩個階段稱為離線，將第三個階段稱為線上。
在設計階段，我們需要為機器人設計上述三要素。在訓練階段，機器人可以從經驗或從人類的示範中學習新的知識。從人類示範中學到的知識與人類設計的知識之間的區別在於，前者不需要人類對知識進行數學的或定量的表示。在許多情況下，這種數學表達很難獲得並且非常不直觀。例如，對人來說，比劃一條軌跡比寫出一段軌跡的數學函式容易多了。在執行階段，機器人執行其任務並與其人類同伴進行互動。在執行任務時，機器人可以通過線上學習更新知識或邏輯。然而，由於計算能力的限制，線上學習僅限於小規模的引數自適應。諸如從頭學習新技能等結構變化只能通過訓練階段的離線學習來完成。訓練階段和執行階段可以在永久學習系統（life-long learning）中迭代地執行。機器人也可能直接從設計階段進入線上執行階段而無需經過培訓階段。
設計還是學習
知識是行為系統的核心。應該設計多少，應該學習多少，仍然是有爭議的 [28]。雖然知識可以學習，但邏輯和學習這兩個模組對應的是演算法，需要被設計。有三種方法可以獲得邏輯g，如下圖所示。圖中的輪廓表示內部成本。顏色越深，成本越高。而邏輯g是從π到u的對映。
-
我們可以求解在設計階段通過優化顯式地解出g，如圖a中紅色曲線所示的精確策略。由於內部成本是非凸的，因此函式g可以是不連續的。
-
優化也可以在執行階段線上求解。需要設計演算法（例如，梯度下降），使得給定任何觀察π，都能算出理想的控制輸入。這提供了一個隱含的策略，如圖b所示。由於非凸性，線上計算的控制輸入u可能僅是區域性最優。這兩種方法裡知識是顯式的，因此是基於模型的邏輯。
-
我們還可以在訓練階段使用引數函式（例如神經網路）來近似策略。首先我們需要一組由（π，u）序列構成的訓練資料。然後從訓練資料中近似得到函式g，如圖c所示。由於不需要明確的知識，這是一個無模型的邏輯。
現有方法在設計上各有不同。我們將這些方法概括為以下四個類別，從自然導向（nature-oriented）到培養導向（nurture-oriented），如下圖所示。
類別1（自然導向）：設計者指定成本和模型，設計邏輯以顯式地優化成本函式，無需任何學習過程。代表性方法有：基於經典控制和馬爾可夫決策過程（MDP）的方法，它們在設計階段獲得精確的策略，例如在柔性機器人關節的控制[63,137] 或安全危急情況下的控制 [49, 152]；模型預測控制（MPC）方法，它們在執行階段 [26, 90, 94] 計算優化。
類別2（偏自然導向）：設計者指定成本，明確設計邏輯，並用學習過程來識別世界模型。經典自適應控制和自適應MPC屬於這一類。這種方法在人機互動中的應用可以在 [46, 81, 98, 121] 中找到。這種方法的優點在於它可以在不確定的、時變的環境中應對自如。尤其是當環境中有人類時，此時系統具有巨大的不確定性及時變性。與此同時，設計者仍然可以通過明確的知識和邏輯設計來控制任務的完成情況。
類別3（偏培養導向）：設計者只是明確地設計邏輯和學習過程。通過反覆試錯或專家演示，機器人在訓練階段獲得知識。代表方法是基於模型的強化學習（reinforcement learning）和反強化學習（inverse reinforcement learning），如學徒學習（apprentice learning） [1, 7, 41]。這種方法在人機互動中的應用可以在 [4, 103, 135] 中找到。該方法的優點是在設計階段不再需要對任務和環境進行數學建模。
類別4（培養導向）：設計者明確地設計學習過程並使用函式（例如神經網路）來近似邏輯。機器人將在訓練階段獲得知識（例如網路中的引數）。與類別3不同，知識不是顯式學習的，而是在網路中的隱式編碼。代表性方法是深度強化學習（DRL）[100] 和模仿學習（imitation learning） [65]。模仿學習中，除了人類以外，模仿物件可以是類別1至3中的行為系統 [130]。這種方法適用於擁有以下特徵的問題：任務和環境極難建模，狀態空間太大，實時計算至關重要的情況。
3. 人機系統的評估
人機器人系統的評估可以在理論上和實驗上進行。
理論評估
在理論分析中，要回答的問題是：
-
設計的邏輯是否會在給定成本和模型的情況下找到最優行動？
-
學習過程會產生收斂的模型序列嗎？
-
設計的成本函式是否能在多智慧體系統中觸發期望行為？
前兩個問題是模組化的。第三個問題是系統方面的問題，它涉及閉環系統的魯棒性、穩定性和最優性，例如，閉環多智慧體系統是否是自組織（self-organized）的 [91]。系統級分析具有很大的挑戰性，因為不同智慧體之間的互動具有高度複雜性，人類行為常常並不符合假設（如理性人假設），博弈論中現有工具不足以分析次優智慧體。在第七章中，我們將探索一種新的方法來分析次優智慧體在巨集觀系統中的效能。
實驗評估
對於人機器人系統的實驗評估，需要考慮在早期階段保護人類受試者。基於這樣的考慮，我們可以充分利用虛擬現實技術以及遠端遙控來在物理上分離人和機器人，同時達到測試的目的。比如下圖就是一種利用虛擬現實技術進行人機互動的示例，實驗參與者通過VR頭盔與虛擬中的機器人進行互動（圖片源自AutoDesk）。
結語
隨著智慧機器人越來越多地出現在人們的生活中，人機互動將會更廣泛地發生。同時，有許多問題亟待研究。對這些問題的探索需要多學科的融合和交叉，如工程學科與社會學科的融合，工程學科與腦科學的融合，以及在工程學科內部，機械設計與演算法設計的融合，以此創造更好的智慧機器人服務大眾。與此同時，作為矽基智慧體的創造者，炭基智慧體也可以此更好地審視自我。
ofollow,noindex">ControlPlusAI
分享機器人控制和AI領域裡的一些知識和感想，偏學術。由來自UC Berkeley, Stanford, CMU的研究者們原創撰稿。
理論 人機互動 機器人
相關資料
Autonomous cars
自動駕駛汽車，又稱為無人駕駛汽車、電腦駕駛汽車或輪式移動機器人，是自動化載具的一種，具有傳統汽車的運輸能力。作為自動化載具，自動駕駛汽車不需要人為操作即能感測其環境及導航。
來源： 維基百科
Neural Network
（人工）神經網路是一種起源於 20 世紀 50 年代的監督式機器學習模型，那時候研究者構想了「感知器（perceptron）」的想法。這一領域的研究者通常被稱為「聯結主義者（Connectionist）」，因為這種模型模擬了人腦的功能。神經網路模型通常是通過反向傳播演算法應用梯度下降訓練的。目前神經網路有兩大主要型別，它們都是前饋神經網路：卷積神經網路（CNN）和迴圈神經網路（RNN），其中 RNN 又包含長短期記憶（LSTM）、門控迴圈單元（GRU）等等。深度學習是一種主要應用於神經網路幫助其取得更好結果的技術。儘管神經網路主要用於監督學習，但也有一些為無監督學習設計的變體，比如自動編碼器和生成對抗網路（GAN）。
來源：機器之心
Convergence
在數學，電腦科學和邏輯學中，收斂指的是不同的變換序列在有限的時間內達到一個結論（變換終止），並且得出的結論是獨立於達到它的路徑（他們是融合的）。 通俗來說，收斂通常是指在訓練期間達到的一種狀態，即經過一定次數的迭代之後，訓練損失和驗證損失在每次迭代中的變化都非常小或根本沒有變化。也就是說，如果採用當前資料進行額外的訓練將無法改進模型，模型即達到收斂狀態。在深度學習中，損失值有時會在最終下降之前的多次迭代中保持不變或幾乎保持不變，暫時形成收斂的假象。
來源： Wikipedia sary?hl=zh-cn" target="_blank" rel="nofollow,noindex">Google ML glossary
Game theory
博弈論，又譯為對策論，或者賽局理論，應用數學的一個分支，1944年馮·諾伊曼與奧斯卡·摩根斯特恩合著《博弈論與經濟行為》，標誌著現代系統博弈理論的的初步形成，因此他被稱為“博弈論之父”。博弈論被認為是20世紀經濟學最偉大的成果之一
來源： 維基百科
Deep reinforcement learning
強化學習（Reinforcement Learning）是主體（agent）通過與周圍環境的互動來進行學習。強化學習主體（RL agent）每採取一次動作（action）就會得到一個相應的數值獎勵（numerical reward），這個獎勵表示此次動作的好壞。通過與環境的互動，綜合考慮過去的經驗（exploitation）和未知的探索（exploration），強化學習主體通過試錯的方式（trial and error）學會如何採取下一步的動作，而無需人類顯性地告訴它該採取哪個動作。強化學習主體的目標是學習通過執行一系列的動作來最大化累積的獎勵（accumulated reward）。 一般來說，真實世界中的強化學習問題包括巨大的狀態空間（state spaces）和動作空間（action spaces），傳統的強化學習方法會受限於維數災難（curse of dimensionality）。藉助於深度學習中的神經網路，強化學習主體可以直接從原始輸入資料（如遊戲影象）中提取和學習特徵知識，然後根據提取出的特徵資訊再利用傳統的強化學習演算法（如TD Learning，SARSA，Q-Learnin）學習控制策略（如遊戲策略），而無需人工提取或啟發式學習特徵。這種結合了深度學習的強化學習方法稱為深度強化學習。
來源： Scholarpedia
Imitation learning
模仿學習（Imitation Learning）背後的原理是是通過隱含地給學習器關於這個世界的先驗資訊，就能執行、學習人類行為。在模仿學習任務中，智慧體（agent）為了學習到策略從而儘可能像人類專家那樣執行一種行為，它會尋找一種最佳的方式來使用由該專家示範的訓練集（輸入-輸出對）。
來源：機器之心
Logic
人工智慧領域用邏輯來理解智慧推理問題；它可以提供用於分析程式語言的技術，也可用作分析、表徵知識或程式設計的工具。目前人們常用的邏輯分支有命題邏輯（Propositional Logic ）以及一階邏輯（FOL）等謂詞邏輯。
來源：機器之心
Human-computer interaction
人機互動，是一門研究系統與使用者之間的互動關係的學問。系統可以是各種各樣的機器，也可以是計算機化的系統和軟體。人機互動介面通常是指使用者可見的部分。使用者通過人機互動介面與系統交流，並進行操作。小如收音機的播放按鍵，大至飛機上的儀表板、或是發電廠的控制室。
來源： 維基百科
Markov decision process
馬爾可夫決策過程為決策者在隨機環境下做出決策提供了數學架構模型，為動態規劃與強化學習的最優化問題提供了有效的數學工具，廣泛用於機器人學、自動化控制、經濟學、以及工業界等領域。當我們提及馬爾可夫決策過程時，我們一般特指其在離散時間中的隨機控制過程：即對於每個時間節點，當該過程處於某狀態(s)時，決策者可採取在該狀態下被允許的任意決策(a)，此後下一步系統狀態將隨機產生，同時回饋給決策者相應的期望值，該狀態轉移具有馬爾可夫性質。
multi-agent systems
一個多智慧體系統，是由一個在一個環境中互動的多個智慧體組成的計算系統。多智慧體系統也能被用在解決分離的智慧體以及單層系統難以解決的問題。智慧可以由一些方法，函式，過程，搜尋演算法或加強學習來實現。儘管存在相當大的重疊，然而一個多智慧體系統並不總是一個基於智慧體的模型表現一致。
來源： 維基百科
self-driving
從 20 世紀 80 年代首次成功演示以來（Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)），自動駕駛汽車領域已經取得了巨大進展。儘管有了這些進展，但在任意複雜環境中實現完全自動駕駛導航仍被認為還需要數十年的發展。原因有兩個：首先，在複雜的動態環境中執行的自動駕駛系統需要人工智慧歸納不可預測的情境，從而進行實時推論。第二，資訊性決策需要準確的感知，目前大部分已有的計算機視覺系統有一定的錯誤率，這是自動駕駛導航所無法接受的。
來源： 機器之心
Reinforcement learning
強化學習是一種試錯方法，其目標是讓軟體智慧體在特定環境中能夠採取回報最大化的行為。強化學習在馬爾可夫決策過程環境中主要使用的技術是動態規劃（Dynamic Programming）。流行的強化學習方法包括自適應動態規劃（ADP）、時間差分（TD）學習、狀態-動作-回報-狀態-動作（SARSA）演算法、Q 學習、深度強化學習（DQN）；其應用包括下棋類遊戲、機器人控制和工作排程等。
來源：機器之心
Robotics
機器人學（Robotics）研究的是「機器人的設計、製造、運作和應用，以及控制它們的計算機系統、感測反饋和資訊處理」 [25] 。 機器人可以分成兩大類：固定機器人和移動機器人。固定機器人通常被用於工業生產（比如用於裝配線）。常見的移動機器人應用有貨運機器人、空中機器人和自動載具。機器人需要不同部件和系統的協作才能實現最優的作業。其中在硬體上包含感測器、反應器和控制器；另外還有能夠實現感知能力的軟體，比如定位、地圖測繪和目標識別。之前章節中提及的技術都可以在機器人上得到應用和整合，這也是人工智慧領域最早的終極目標之一。
來源：機器之心
