1. 程式人生 > >當自動駕駛駛入虛擬現實——蘋果的沉浸式自動駕駛系統

當自動駕駛駛入虛擬現實——蘋果的沉浸式自動駕駛系統

0 引言

自動駕駛汽車將人們從汽車操控中解放出來,減少交通事故,是汽車未來的發展趨勢,具有巨大的應用價值,成為傳動車企以及科技企業競相追逐的物件。谷歌在2009年就開始進行自動駕駛實驗,先發優勢讓其Waymo成為業界標杆。蘋果多年來都被評為創新“NO.1”,自然不甘落後。

1 蘋果的造車夢

2014年,蘋果啟動自動駕駛專案,志向高遠,準備造一輛全新的“蘋果汽車”,提供全新的駕駛或乘坐體驗,革傳統汽車的命,就像當年的IPhone手機橫掃諾基亞、摩托羅拉一樣,再造一個汽車蘋果。但汽車畢竟與手機不同,蘋果的目標一降再降,經歷了從“一切自己來”到“合作伙伴來幫助”,再到“幫助合作伙伴”——提供感測器及軟體系統,研發重點放在自動駕駛的核心技術上。合作伙伴也從期望的奢侈品牌“寶馬”到“賓士”,再降為大眾品牌“大眾”。蘋果的汽車夢想碎了一地,但仍未放棄。
在這裡插入圖片描述


以蘋果的創新能力,其一舉一動皆牽動科技界的神經。蘋果CEO把自動駕駛技術比作“所有 AI 專案之母”,自動駕駛研發高度保密,外人難以一窺究竟。2018年7月10日,前蘋果自動駕駛工程師張曉浪涉嫌竊取商業機密罪,被蘋果告發,可能面臨10年的牢獄之災。法院檔案顯示,在蘋果大約5000人(3.7%)為蘋果的汽車專案工作,或對該專案很熟悉。而在這5000人中,有2700名核心僱員,獲得訪問加密資料庫的許可權。

蘋果鮮有資料宣傳報道自己的自動駕駛汽車。專利具有法定的公示性,可以為了解蘋果的自動駕駛汽車開啟一扇窗戶。本文根據公開的專利將介紹了蘋果與AR有關的自動駕駛汽系統專利技術,包括沉浸式虛擬顯示、增強現實顯示等。

2 “沉浸式虛擬顯示”(WO2018057980A1)
2.1專利技術介紹

蘋果於2017年9月申請了“沉浸式虛擬顯示”專利,根據該專利,未來的自動駕駛汽車,可以通過虛擬現實(VR)系統為乘客提供沉浸式乘車體驗。車輛的虛擬現實系統與車輛控制系統可以進行互動,在行進中VR系統不僅能夠根據行車資料提供虛擬現實場景或者增強現實場景,還能向車輛控制系統傳送訊號,使虛擬場景與車輛運動狀態協同,附以主動系統(如聲音、空調及主動座椅),為乘客提供增強的沉浸式體驗。這是傳動固定的VR無法實現的。

VR系統可以調整虛擬環境以適應不同乘客的偏好,如通過調整視覺提示經過乘客的速度和數量,使乘客感覺的車速與實際車速不同,這既可以防止高速行駛時某些乘客出現暈車,也可以使某些乘客在龜速行駛時有飛車般的感覺。另外,VR控制系統甚至可以檢測乘客是否已經暈車或出現暈車徵兆,從而改變虛擬現實環境,以減輕暈車,措施包括在乘客下方顯示虛擬地平面、減少虛擬環境中標示汽車運動的視覺提示或減慢視覺提示、減少虛擬內容提供空曠的虛擬環境、在虛擬環境提供錨定物體等。

玻璃車窗影響汽車部件結構的完整性,VR系統可以減小車窗面積或消除車窗,未來汽車的車窗不再是必要的選項。通過車內顯示的虛擬現實,乘客也能夠看到外部的真實世界。VR系統還可以讓乘客產生所乘為“豪車”的錯覺,改善乘車體驗。

自動駕駛與虛擬現實相結合,乘客可以在行進中工作、學習提高生產效率,也可以在乘車過程中娛樂,放鬆身心。根據該專利,蘋果向我們展示了夢幻般的虛擬現實乘車體驗,如可以是工作場景,在虛擬會議室或虛擬平板卡車上舉行多人會議,參與者甚至可以選擇不同的會議虛擬場景;可以是娛樂放鬆虛擬現實,乘坐獨木舟在江河中漂流,在滑翔機翱翔俯瞰風景,實際車輛行駛的轉向或曲線行進、暫停也能夠投射進虛擬現實場景中,VR系統還能夠指令車輛系統配合虛擬場景產生身體感知,提高真實性;可以進行穿越,穿越至另一個真實的地點(如倫敦的大街)、虛擬的城市或景觀;可以在虛擬公路上進行賽車、在後世界末日的殭屍中穿行;還可以將真實或虛構的人物整合至虛擬系統,作為虛擬乘客,提供個性化服務。

2.2 專利技術實現方式

沉浸式自動駕駛主要通過VR控制器和VR投影裝置來實現,其中VR控制器配置為獲得感測器的輸入,渲染虛擬內容,將虛擬內容的運動或加速與車輛同步,並將虛擬內容傳送至VR投影裝置,提供虛擬現實替代真實的環境。VR控制器還可以指令車輛控制系統,在限度範圍內引發反應,如剎車、加速、轉向、空調風扇風速風向變化及主動座椅的移動傾斜,為乘客提供身臨其境的感知;還可以根據乘客的狀態改變虛擬現實場景,避免暈車。
在這裡插入圖片描述

2.3 專利技術評價

蘋果的沉浸式自動駕駛技術並非原創,實際上本田公司早在2015年就提交了沉浸式自動駕駛相關專利申請,技術解決方案基本相同。本田的沉浸式自動駕駛也明確提到了AR控制器接受車輛資料,並渲染虛擬現實場景,根據車輛的運動及駕駛同步虛擬內容的運動狀態,可以最小化暈車等。但是蘋果的專利技術可以通過AR控制器對車輛控制系統發出指令,在限度範圍內反應以配合虛擬現實場景,提高乘車體驗,並公開了消除暈車的具體手段,這些都是本田專利所未公開的。

3 增強虛擬顯示專利(US2018089900A1)

增強虛擬顯示專利與上述沉浸式虛擬顯示專利的說明書相同,但要求保護的技術方案並不相同。根據該專利的權利要求書,VR控制器通過VR投影裝置,在車前將使用者裝置(如筆記本計算機)的顯示屏以固定距離3D投影顯示。顯示屏輸出的內容傳送到VR控制器,在這裡渲染產生虛擬內容,在現實的環境中虛擬以視窗顯示或者在虛擬環境中以視窗顯示。即通過在車的前方,投影渲染使用者裝置顯示屏的內容,不僅可以防止乘客暈車,還可以利用乘車時間工作、學習或娛樂,一舉兩得。
在這裡插入圖片描述
4 增強現實顯示(WO2018057987A1)
4.1專利技術介紹

蘋果還申請了名為“一種利用立體影象的自適應車輛增強現實顯示器”。該專利技術通過AR系統,獲取預先生成的現實世界現場3D資料模型,從而對車輛感測器獲取的現場3D資料進行補充或增強,改善AR場景的渲染,生成增強的3D圖,並將其投射到風擋玻璃上,將車輛行駛前方的場景以AR的方式呈現。
在這裡插入圖片描述
預先生成的3D網格資料是車身周圍360度真實環境記錄,AR系統利用該3D網格資料,對車輛感測器探測範圍外的環境資訊進行補充;在感測器被阻擋或受限時,還能夠補充渲染影象資料。預先生成的3D資料一般在雲端儲存,AR系統可以通過無線方式查詢獲取,在行進中實時對車輛感測器獲取的資料進行補充和增強,改善3D影象的渲染能力。

通過該專利的技術,可以提供更多路況資訊,比如提醒司機視線之外值得注意的資訊,或者是被前車遮擋的視野資訊。而在感測器失效或者功能受限的條件下,如遭遇大霧、大雪,能見度低,或者行進在彎曲的山路,被前車阻擋等,汽車感測器可能難以直接建立外部區域的準確影象,預先儲存的雲端3D資料則可以對現場虛擬內容進行補充,並幫助車載系統準確給出預判路線。

4.2專利技術實現方式

實現該技術的系統包括投影裝置和AR控制器,其中AR控制器承擔著查詢獲取預先生成的3D資料、獲取感測器資料、生成3D影象的功能。
在這裡插入圖片描述

4.3 專利技術評價

蘋果的利用立體影象的自適應車輛增強現實顯示技術也並非原創,已被德國博世公司捷足先登,所採用的技術方案基本一致。但是,蘋果的專利技術還是有所改進,比如利用可見表面與太陽的方位關係,進行實時渲染調整等。蘋果公司的自動駕駛起步晚,在別人的技術基礎上改進使用者體驗,還是很有意義的。

5 不是感想

蘋果的自動駕駛汽車研發高度保密,這與喬布斯的精神門徒“賈布斯”形成鮮明對比。賈布斯以PPT造車聞名於世,在這點上喬布斯可能連當“賈布斯”學生的資格都不夠,蘋果的廚子更是望塵莫及。事實上,“賈布斯”PPT造車學的是特斯拉的馬斯克,卻宣稱是喬布斯的門徒,拜錯了師門。當然,造車計劃拖垮了樂視,讓股民與投資者血本無歸,賈布斯也遠走異鄉,掛牌老賴,這是後話;能否憑藉美國版“造車”東山再起,榮歸故里,這是未來的話。成也造車,敗也造車,東山再起也要靠造車,可見,造車對一個科技企業的影響之大。

6幾點感想

(1)無論是沉浸式自動駕駛還是增強現實顯示,蘋果均非原創。在前人的研究基礎上進行技術改進,是最常見的創新方式,蘋果也概莫能外。顛覆性的創新畢竟是少數。蘋果公司的自動駕駛起步晚,在別人的技術基礎上改進使用者體驗,還是很有意義的。

(2)電動汽車、自動駕駛是未來汽車技術的發展方向,汽油車退出歷史舞臺只是時間問題。科技公司如谷歌、百度、蘋果投入重金研發,成為汽車的新玩家,以期彎道超車,改變汽車市場的傳統格局。

(3)中國是全球最大的汽車生產國和消費國。但中國汽車行業的“市場換技術”策略已經失敗,汽車合資公司淪為外資汽車公司的生產基地,鮮有創新。國有汽車企業缺乏技術和人才優勢,無法承擔引領汽車未來的重任,與國外合作也會繼續走“合資”的老路,淪為附庸。

(4)科技企業如百度、初創公司、民營車企能否突圍還是未知,但中國有龐大的市場,複雜的道路環境,為自動駕駛的研發提供了基礎優勢。但是,科技公司與汽車製造商如何合作、責任如何分配也會成為一個問題,畢竟汽車涉及安全,不是手機可以比擬的。

本文作者:泊頭子
微信公眾號:專利方舟
本公眾號已經開通“專利問答”欄目,如有專利方面的問題可向作者提問,分享交流。詳情見《本公眾號擬開通“專利問答”欄目的通知》。
在這裡插入圖片描述