Brain-Computer Interfaces and Augmented Reality: A State of the Art
Brain-Computer Interfaces and Augmented Reality: A State of the Art
腦機介面和增強現實：最先進的技術
文章目錄
摘要
本文回顧了最新技術 結合使用腦機介面（BCI） 增強現實（AR）。 首先介紹一下 AR領域及其主要概念。 其次，它描述 到目前為止設計的各種系統結合AR和 BCI按其應用領域分類：醫藥， 機器人，家庭自動化和大腦活動 視覺化。 最後，它總結並討論了 調查結果顯示，此前大部分都是如此 工程使用P300或SSVEP範例與腦電圖 在視訊透視系統中，機器人是一個 最主要的應用領域 現有系統。
介紹
BCI領域的研究越來越多 過去幾十年的人氣。 BCI已經 用於各種各樣的應用，康復[3]， 機器人技術[7]，娛樂[24]或與之相關聯 不同的輸入形式：凝視跟蹤器或 肌電圖系統。 他們也有廣泛的 已被用於虛擬現實環境[27]等 最近有增強現實[22,30]，這本身就是 現在獲得更多的興趣。
腦 - 計算機介面和增強現實是 可以組合用於互動和/或的兩個欄位視覺化目的。 一方面，基於AR 系統通常依賴於頭戴式顯示器（HMD） 配備攝像頭，可用於場景需要擴音互動[9]。 BCI範例可以 提供這樣的輸入方式，要麼與之互動 虛[16]或真實物體[36]。 另一方面，BCIs 可以利用AR來與真實互動 世界。 AR還可以提供有趣的方式 通過將其整合到現實世界中來顯示反饋 環境。 這種反饋對於基於BCI的重要性很重要 系統使使用者能夠訪問和調整他們的腦活動[26,32]。
儘管如此，將BCI和AR結合起來並不是一件容易的事。 必須考慮許多限制因素。 首先，在硬體層面，這兩種技術都需要 頭戴式裝置，不能輕易穿在同一時間，如果磨損，有必要確保 他們不會干涉。 BCI使用非常低的幅度訊號，因此對噪聲非常敏感。 然後，軟體 還必須考慮到制約因素。那是為了 擁有中介軟體或中介軟體所必需的例項 中介代理，以便在它們之間進行同步 並結合輸入。 最後，記錄大腦活動 在使用者通常可以自由使用的AR環境中 由於肌肉活動引起的，移動也可能很困難 BCI錄音中的人工製品[17]。 本文旨在概述現有技術 結合BCI和AR的系統。 第 2 節介紹 增強現實領域，突出其中的一些 最重要的概念。 第 3 節評論現有的 BCI-AR應用程式，根據它們進行分類 他們的應用領域。 第 4 節總結和 討論了我們的調查結果。 最後，第 5 節是結論。
增強現實介紹
增強現實的定義
增強現實與虛擬的整合有關 實時的現實世界中的物件和資訊 [40]。 根據Azuma [5]的三個特徵定義 AR系統：（1）真實與虛擬的結合 內容，（2）實時互動，（3）3D 在真實環境中註冊虛擬內容。 與使用者沉浸其中的虛擬現實相反 在完全虛擬的世界中，AR混合虛擬和真實 內容，理想情況下，使它們看起來共存於 相同的空間[5]。 米爾格蘭姆和基希諾[31]建立了一個連續統一體 從完全虛擬到完整的現實。 在它們之間，存在著真實和不同的組合 虛擬環境，取決於每個級別 在場景中（見圖1）。 在本文的範圍內，只有視覺AR應用程式 被考慮。
增強現實的型別
增強現實通常分為：（1） 視訊透視（VST）AR：真實影象用相機拍攝的裝置（平板電腦，手機等） 通過螢幕視覺化，增加了虛擬資訊; （2）光學透視（OST）AR： 其中虛擬內容直接顯示在前面將使用者的眼睛放在半透明螢幕上（例如， 微軟Hololens）; （3）投射AR（又名空間增強現實）：虛擬內容投射到真實的環境物件[4]。
跟蹤和註冊
任何AR系統的一個重要部分是能力融合虛擬和真實物件，這被稱為註冊。 之後，跟蹤允許正確 根據要求渲染虛擬物件的變化 相機的位置，從而確保他們的可靠性融入現實世界[40]。 註冊虛擬元素可以使用基準標記完成放置在真實環境中，通過模式識別真實物體的識別技術有源感測器[5]。 實現這一目標的一種流行方式 跟蹤，包括使用同步本地化與對映（SLAM）演算法[8]相關的解決啟用機器人的問題 同時發現它的周圍環境並推斷出它立場[37]。 最初設計用於機器人的導航 [14]，它已經適用於AR [13]，因為它允許 跟蹤未知環境中的物體[8]。
互動
由於必要，互動是AR的主要挑戰為使用者提供對虛擬動作的手段 元素[40]並操縱它們。 但是，存在 在可穿戴計算機的背景下，新的方式互動，不同於滑鼠和鍵盤，必須受僱。 到目前為止，這主要是通過完成的 語音命令和手勢識別[21]（如 與微軟的Hololens），凝視跟蹤[20]或與物理按鈕[34]（與谷歌眼鏡一樣）。 景氣指數可能特別有助於基於AR的系統互動方式，特別是在視覺選擇任務上這可以通過SSVEP或P300來完成[19， 25]。
結合AR和BCI的應用程式
理論上，結合AR和BCI可能是適用於BCI可以提供的大多數主題，例如協助殘疾人士，娛樂，體育。 有 結合AR和BCI的不同原因。 第一，從BCI的角度來看，AR提供了新的方法在現實世界環境中整合反饋，因此，帶來新的互動可能性並增強使用者體驗。 其次，從AR的角度來看，BCIs 提供新的“意念控制”，以便與之互動，真實和虛擬物件以及新的生理特徵 關於使用者心理狀態的資訊，允許創造更多適應性場景。 本節介紹了BCI組合的最新技術 和AR系統，根據他們的分類 應用領域是：（1）醫療; （2）機器人; （3）家庭自動化; （4）大腦活動視覺化。
醫療
結合AR和AR的三種主要應用型別 可以確定藥物的BCI：（1）外科醫生援助或 培訓，（2）心理治療和（3）殘疾人 人們的幫助。
在手術期間幫助外科醫生的嘗試就是工作 Blum等人。 [9]誰開發了視訊透視 頭戴式顯示器（VST HMD）AR系統授權 “X射線超人般的視覺”讓外科醫生為了讓 他們對患者有更深入的視力 手術。 這個應用程式的目標是結合一個 BCI有凝視跟蹤器，後者選擇區域 放大的位置和用於控制的前者 縮放級別。 在此使用BCI的主要用途 背景是，外科醫生是完全擴音的 背景，因為他們的手被消毒，因此，不可能 曾經與AR-System互動[9]。 但是，他們的 最終設定依賴於EMG而不是EEG。
在幫助外科醫生方面，這可以做到 通過為他們提供在操作期間使用的工具[9]， 或提供方法讓他們在操作前進行訓練。這已經由Barresi等人完成。 誰開發了一個 原型稱為BcAR [6]。 他們結合了BCI和AR 反饋，以培訓人體機器人的外科醫生 - 基於互動的手術。 在BcAR，外科醫生訓練 機器人輔助鐳射顯微外科手術。 他們必須 操縱由觸覺代表的“可伸縮”手術刀 臂。 AR反饋，通過視訊顯示 - 通過頭戴式顯示器（VST HMD），習慣了 向他們展示他們的注意力水平 - 通過測量 BCI - 用手術刀的長度表示，這樣 他們可以適應它（見圖2（a））。 該系統的目標 是教外科醫生保持他們的注意力 整個操作時間。 有另一種治療方法 通過結合AR和BCI得到增強 “暴露療法”。 從恐懼症和恐懼症中治癒病人 焦慮，Acar等。 開發了基於EEG的系統 幫助患者克服恐懼[1]。 AR系統 由智慧手機組成，顯示攝像頭檢視 增加了使用者擔心的實體（例如 昆蟲），幫助他們對抗它。 腦電圖測量了 為了確定這種增強AR的效率 暴露療法。 如前所述，BCI和AR可以 也要結合起來，以增強心理 療法。 Correa-Agudelo等。 [12]發達 ViLimbs，一個基於計算機螢幕的AR-BCI用於幻像 四肢疼痛治療。 在該系統中，患者被放入 顯示面對相機流的寬螢幕前面。 感謝基準標記放置在開頭 缺失的肢體，患者有自己的形象 雙臂，允許他移動失蹤者 痛苦的立場。 因此，它的增強版本 鏡子治療。 大腦和肌肉活動習慣 確定使用者的動作意圖，允許他移動他的動作 虛擬肢體。 儘管使用了腦電圖，作者的原型 依賴80％的肌電訊號，而電機訊號則更少 意象[12]。 最後一種醫療應用 結合BCI和AR是關於輔助技術， 特別是電動輪椅控制。 這一直是 由Borges等人研究。 [10]文中正在設計一個環境允許殘疾人安全地學習如何 開車輪椅。 在不同的形式中 駕駛輪椅，他們設計了一個SSVEP為基礎 控制方向的解決方案。 AR的目標就在於此 系統是能夠提供不同的駕駛 將虛擬障礙與真實障礙相結合的場景 世界舞臺，同時仍然確保使用者的安全。
機器人
BCI和AR特別用於該領域 機器人：（1）明確地操縱或控制機器人代理 或（2）操縱機器人手臂。 有可能通過 AR，提供現實世界的第一人稱視角， 使用上下文可視命令進行擴充。 這有 Escolano等人的作品已經證明了這一點。 誰 開發了基於P300的AR系統來控制移動裝置 機器人[15]。 機器人在一個不同的房間，配備 用相機顯示第一人稱視角 電腦螢幕，增加了P300選單來控制 它。 Gergondet等人也做了類似的工作。 [19]誰提出了一個使用機器人來引導機器人 SSVEP。 他們的系統允許使用者控制機器人 配備了顯示增強的相機 機器人在電腦螢幕上的檢視。 但在這種情況下， 選單包含四個閃爍的命令。 此外 僅僅操縱機器人，就可以選擇 不同的速度。 Petit等。 開發了機器人導航 系統允許使用者與機器人進行互動[33]。 感謝使用者的VST上放置了一個基準標記 HMD，使用者可以讓機器人走向他。 然後，用基準點進行身體部位選擇 標記放置在使用者身體的不同部位 開始閃爍，以便他們可以通過選擇 SSVEP讓機器人與之互動。
BCI和AR也被用於控制機器人手臂 通過目標選擇（共享控制）而不是步驟 - 逐步控制。 Lenhardt特別做到了這一點 和Ritter [25]使用了P300奇怪的範例 為了使機器人手臂移動真實物體 表。 物件是5個用AR標記標記的立方體 那個3D虛擬數字出現在它們之上 當通過VST HMD看到。 數字是 以隨機順序突出顯示以引發P300響應 當用戶想要選擇其中一個時。 當一個 選擇了物件，表格上出現了一個網格。 每 表示可能的目標目的地的案例 也通過P300範例選擇。 之後 選擇目標物件和目的地，機器人 手臂進行了動作。 另一個機器人手臂控制 專案已由Martens等人完成。
他們 為兩項任務設計了機械臂[29]。 首先 包括通過P300選擇和移動物體 範例。 移動的“石頭”在增加時增加 通過VST HMD看到，以便使用者可以專注 刺激。 第二項任務是控制機器人 手臂將鑰匙插入鑰匙孔，並通過 用四個SSVEP增強HMD檢視 命令。 蘭佩等人 使用了Motor Imagery（MI） 用於控制存在於其中的機器人裝置 與使用者不同的位置[23]。 機器人是 配備兩個攝像頭，一個用於手持檢視和 其他用於場景檢視，並且都顯示在一個 顯示屏。 每當輸入可選物件時 在視野方面，它得到了增強，以便使用者可以 選擇要通過MI和機器人手臂抓住的物體 自主抓住它。 在這種情況下，三個命令 通過Motor Imagery傳送： 左，右，選擇 哪個物件要掌握，並 確認 。 這些 分別對應於左或右的命令 手指敲打和腳趾緊握。
家庭自動化
另一個應用是控制智慧的能力 環境，無論是提供舒適自動化 操縱家庭的機制或輔助控制 家電。 在這種情況下，組合BCI和AR是 通過兩種不同的策略實現：（1） 直接互動[36]，（2）通過間接互動 機器人代理[22]。 Takano等人使用了第一種策略。 在一個 基於P300的AR-BCI系統可控制多個裝置 在家裡[36]。 他們用AR標記家用電器 通過光學看到的標記 - 通過（OST HMD），使控制面板顯示出來 他們。 然後使用P300範例來選擇 命令執行（見圖2（b））。 Kansaku等人提出了間接相互作用。 [22]，用一個允許使用者控制遠端的系統 通過大腦活動在房屋環境中的機器人。 該 機器人配備了顯示視訊的攝像頭 裝置標記的環境流 用基準標記。 當其中一人進入時 機器人的視野，顯示一個控制面板， 允許使用者控制它。
大腦活動視覺化
BCI也可用於大腦活動視覺化目的。 無論是（1）神經反饋還是（2）神經反饋 教學方面的原因，AR可以提供一種自然的展示方式 大腦如何工作並將其融入現實生活環境中。 神經反饋的概念是神經反饋的重要組成部分BCI使用培訓[28]。 神經反饋已經 通過將其投影到現實生活中的物體，在AR中提供 [18]，或直接在表示上顯示 使用者[30]。 Mercier-Ganady等。 [30]開發了一個 用於此目的的名為MindMirror的應用程式使用AR 神經反饋 該系統由智慧鏡子組成 - 帶有攝像頭的液晶顯示屏 - 顯示使用者 以某種方式X射線視覺方式（見圖2（d）） 向他/她展示他/她大腦的啟用區域 通過腦電圖測量。 更準確地說，系統 顯示了電位的分佈 虛擬大腦的表面。 弗雷等人。 開發了一個 預計的AR系統稱為Teegi [18]。 它包括一個 頭部有形小雕像，記錄的腦電圖 顯示使用者（見圖2（c））。 的目標 Teegi因其專為人們設計而具有教育意義 瞭解EEG的工作原理。
研究性學習
有些作品並不完全屬於這些類別之一。 它們是概念和可行性/研究的證明 學習。 Faller等人的系統就屬於這種情況。 誰 開發了基於SSVEP的BCI概念證明 控制在真實表格上增強的虛擬角色[16]。 他們的系統包括一個VST HMD裝置和使用者’ 目標是讓角色通過一系列的移動 由閃爍的棋盤代表的點。 另一個 可行性研究由Uno等人完成。 誰想要 確定不受控制的真實空間的影響 關於基於P300的BCI效能的背景知識 [39]。 他們的初步結果顯示沒有真實效果 因此，空間背景對選擇的準確性 鼓勵使用組合的AR-BCI應用程式。Chin等人。 開發了一個使用者可以使用的原型 到達並掌握在真實桌面上增強的虛擬物件 [11]。 使用者的手增加了虛擬的手 他可以通過Motor Imagery來控制。 整體 場景顯示在電腦螢幕上，沒有任何影響 在MI表現中發現了AR。 另一種型別 應用程式在上下文中使用了fNIRS 可穿戴裝置。 Afergan等。 開發了一個fNIRS- 基於BCI的Phylter [2]。 與…結合使用 谷歌眼鏡，他們的系統幫助防止使用者 從被通知淹沒。 這是被動的 分析使用者的認知狀態以確定是否或 不是他/她可以收到通知。 決定是 基於使用者的認知工作量水平 在不同使用者的訓練分類器後確定 狀態。 仍在使用基於fNIRS的BCI，Shibata等。 介紹了Google Glass應用程式的原型 稱為零快門相機[35]，它由一個 被動式照片觸發器，基於使用者的心理工作量。 系統將預測的使用者心理狀態作為輸入 並在’特殊情況下自動觸發相機快照 使用者心理負擔的估計時刻 超過通過培訓確定的閾值 。
討論
表1總結了以前結合AR的工作 和BCI根據BCI正規化，即AR的型別 顯示和使用的大腦感測技術。 這張桌子 首先表明大部分時間都是在進行增強 通過電腦螢幕或HMD，只有 少數使用光學透視AR。 原因對此可能是第一種解決方案很方便 原型設計和第二個非常直觀，實現更多 使用者的移動性。 但是，如果基於螢幕的AR清楚 防止使用者移動，BCI的狀態 到目前為止，發展也阻止他們移動 由於肌肉偽影的風險，與HMDs。 如 結合AR和BCI是比較新的問題 大多數人似乎都沒有討論過移動性問題 使用HMD的論文。 但是，發展和 BCI技術的改進，特別是發展 過濾方法有效去除肌肉神器 將BCI用作AR互動工具的先決條件 充滿潛力。 可以做出的第二個觀察 是大多數作品都使用了腦電圖。 一個 原因可能是AR互動的實時性質 腦電圖的時間解析度似乎更多 比fNIRS更合適。 關於BCI 範例，雖然已經考慮了一些， SSVEP和P300範例是最常用的範例。 這個 受歡迎程度可能是由於圖形方面的原因 增強，因為AR基於顯示圖形 因此，使用者視野上的虛擬元素 基於視覺的範例非常適合選擇 任務。 但是，更深入地探索是很重要的 AR對BCI表現的影響，不僅來自於 系統的觀點，但也在使用者的認知方面 在AR上下文中進行擴充套件的負載可能更多 認知要求高。 此外，大部分作品 仍然處於原型階段。 他們利用了 中介計算機翻譯大腦活動和 將其整合到互動中。 如果SSVEP似乎相當 強大的同步問題，P300可能更多 對抖動敏感。 使用中間計算機 BCI和AR裝置可能會引入偏差和減少 P300表演。 對此的解決方案可能是 開發一體化可穿戴裝置，功能強大 直接處理心理活動，這將免除 從使用外部中介代理和減少 失步的風險。 此外，它可能是 有趣的是探索AR中的其他BCI範例 上下文。 隱蔽注意[38]例如可能 有趣的研究AR意味著整體的元素 使用者的視野，不受螢幕限制 邊界。 從表1中可以看出，大多數情況都是如此 作品依賴於積極的BCI正規化（包括 反應性的）。 它們主要用於操縱和 自願控制物理或虛擬物件。 被動 BCI就其本身而言，主要用於收集 關於使用者的神經生理學資訊 確定他的精神狀態。 這種被動正規化可以 在未來的作品中進行更深入的研究。
最後，似乎有必要考慮AR-BCI系統 從人機互動的角度來看 評估和改進它們。 此外，更多和其他 應用領域可以研究和受益 將來結合AR和BCI。 例子包括： 娛樂和遊戲，康復，教育或 溝通和視訊會議。
結論
本文介紹了結合的最新技術 腦 - 計算機互動增強現實。 它 首先介紹了AR領域，可以分為 光學透視，視訊透視和投影 AR。 然後它介紹了以前結合AR的作品 和BCIs在醫學，機器人，家庭領域 - 自動化，大腦活動視覺化以及證明 概念或可行性研究。 我們的調查顯示 以前的大多數作品都使用了P300或SSVEP 在VST設定中的範例，EEG是最多的 採用腦感應技術，機器人技術 應用程式數量最多的欄位。 結合AR和BCI似乎在場景中很有用 支援擴音互動，但毫無疑問 未來的作品將在很多方面探索這種組合 更多的應用領域，以及新的互動 將設計技術以及新的反饋 將發明模式，利用兩者技術。