爆款AR遊戲如何打造？網易楊鵬以《悠夢》為例詳解前沿技術
網易AR遊戲生態合作負責人楊鵬表示，傳統遊戲模式趨同，AR遊戲將是下一個重要風口
網易AR遊戲生態合作負責人楊鵬做了《從網易悠夢看AR前沿技術》的主題演講，分享了網易基於AI技術和硬件基礎所打造的爆款遊戲《悠夢》，並詳細了該遊戲的AR遊戲引擎、AR SDK和洞見內容瀏覽器等技術方案，助力《悠夢》成為年度AR遊戲代表之作。
楊鵬表示，AR是新時代的信息呈現基礎設施，與3D內容產業息息相關，其中遊戲領域更是AR的最大應用場景之一。在傳統遊戲模式下，遊戲世界和現實世界是嚴格割裂開來的，而在AR模式下，兩者將進行密切融合。但是虛擬世界與現實技術究竟能夠結合到什麽程度？他指出，這很程度上依賴於硬件及計算機視覺等AI技術的發展。
目前從整個產業鏈來看，國內外巨頭也都意識到AR將會是下一個產業革命，紛紛從芯片層、OEM層、系統層布局這一風口。
? 芯片層推出針對的AR芯片及AR優化的芯片；
? OEM如蘋果，三星，華為，小米這些OEM也在不斷更適合AR的硬件；
? 系統層推出相應的AR底層算法，方便開發者開發AR的應用。
因此，網易乘勢而為，積極探索AR價值，打造出了AR遊戲爆款《悠夢》。《悠夢》是一款由網易盤古工作室與網易洞見聯合開發的AR解謎類遊戲，給遊戲玩法帶來新的可能和新的體驗模式。楊鵬具體闡述道：
? 通過洞見AR平面檢測技術將遊戲場景投射到現實空間中，讓玩家可以自由視角領略到浮空塔、白墻青瓦、湖底世界，燦爛星空等精美的3D遊戲場景，仿佛置身場景之中，如夢如幻，非常契合“夢境”的主題；
? 遊戲巧妙地利用了光照估計來估測當前環境條件，從而極大提升遊戲畫面的真實性，產生亦真亦假的視覺沖擊；
? 結合AR 6DOF自由視角、空間定位的特點，采用了諸如拉近看微觀、拉遠看全局的方式來觀察遊戲場景，取代了傳統手機觸摸按鍵雙手夾捏的方式，操作方式更為自然簡單；
? 采用巧妙的美術手法，讓“夢境”與現實自然融合，呈現別樣意境。比如遊戲中的關卡地圖逐步從桌面中顯現，移動手機時消失的場景部分出現化為灰燼的特效；
? 後續諸如人臉識別、手勢識別、肢體識別等技術的加入，會使得遊戲的AR交互方式變得更加多樣化......
最後楊鵬提到，《悠夢》只是他們在AR遊戲領域的小試牛刀，包括研發AR遊戲引擎、AR SDK和洞見內容瀏覽器等等。目前，團隊仍在積極探索更多AR+遊戲的新穎玩法。後續，他們會去嘗試與不同遊戲類型的結合方式，甚至和非遊戲部門合作，通過AR小遊戲的方式來做運營和市場營銷，方便開發者更好地開發和分發AR內容。
以下是楊鵬演講實錄：
大家好！今天很高興能夠分享網易在AR的探索，以及我們在遊戲應用場景的一些研究。
相信大家對於AR技術並不陌生。AR是一種新時代的信息呈現方式，目前在廣告營銷、商品展示、旅遊、工業、醫療等領域，都有著廣泛的應用場景。AR本身跟3D內容產業息息相關，所以毫無疑問，遊戲肯定是AR最大的應用場景之一。在傳統的遊戲模式下，整個遊戲世界和現實世界是割裂的關系，但是在AR遊戲模式下，遊戲世界和現實世界就開始進行密切的結合。而這個融合的程度是非常依賴於整個硬件環境的感知能力，以及AR技術的發展程度。
最近幾年，AR技術發展非常迅速，主要是兩個方面的原因：第一是硬件性能不斷提升，諸如像IMU傳感器，它的精度不斷提升，讓硬件環境感知能力進一步增強。第二是隨著深度學習算法的引入，整個人工智能方面的技術得到了很快速發展，比如像LBS、圖片識別、平面識別、3D物品識別和跟蹤，以及手勢識別、肢體識別、人臉識別等等人工智能技術得到了很快的發展，這些技術為AR技術提供了有利的保障，為AR遊戲的玩法也打下了堅實的基礎。兩年前《陰陽師》召喚玩法還要依賴於2D圖片的識別方式來進行遊戲的體驗。但是在一年前，隨著蘋果推出AR KIT，以及我們做了很多研究，《悠夢》得以用平面識別的方式來直接呈現AR的效果。所以可以看到AR和AR技術在近幾年的發展速度也是非常快的。
從整個產業鏈上來講，大家也都意識到AR將會是下一輪革命性的技術，紛紛布局這一風口。針對這個風口，各大科技巨頭也紛紛進行布局：從芯片層來講，一些芯片廠商推出針對的AR芯片及AR優化的芯片；從系統層來看，蘋果去年推出了AR KIT1.0，今年也繼續叠代推出了2.0的算法。谷歌在AR上也做了很多的研發投入，推出了ARCORE，也相應做了版本的叠代，具有更多的能力。系統層是從底層算法方面不斷完善技術，給開發者開發相應的AR應用和AR內容提供更多的便利；從OEM層來講，它們為了推動用戶不斷地升級換代硬件設備，也紛紛推出了主打AR賣點的手機，比如去年蘋果發布的iPhoneX手機，即是專門針對AR推出的一款手機。蘋果推出iPhoneX以後，安卓設備也紛紛跟進，推出了相應的設備，比如三星系列也發布了AR攝像頭。國內華為也推出了主打AR拍照或者AR能力的手機，並且推出了華為Eegine，針對系統層做相關優化。
所以從產業鏈來講，大家都在為AR這件事情搭建基礎設施平臺。對於AR來講，會帶來更多的一些機會，尤其是AR跟遊戲的結合，會帶來更多的可能。
從遊戲產業鏈來講，目前傳統的遊戲模式同質化程度非常高，競爭非常激烈，而玩家口味是非常挑剔的，這對於中小型的開發團隊來講，他們在競爭激烈的市場上很難突圍。這時候就急需一些新的技術和新的玩法引入，而AR正當其時，能夠給遊戲帶來全新的遊戲體驗模式。
網易本身是一家堅持精品內容生態的公司，我們深耕遊戲領域非常多年，積累也非常深。我們已經意識到了AR遊戲將會是遊戲產業接下來非常大的一個風口，2015年就在人工智能事業部成立了AR部門，主要做一些底層技術的研發，並探索AR和各種應用場景的結合方式。我們也和遊戲很多工作室通力合作，探索AR在遊戲應用場景的一些應用。其中《悠夢》就是我們和盤古工作室一起探索落地的一款典型的產品，《悠夢》是一款風格比較唯美的純AR類遊戲，一開始是我們內部做的迷你項目，逐步從迷你項目立項。在過程中AR團隊提供了AR核心玩法的策劃，還提供了AR遊戲引擎，以及相應的技術支持，幫助這款遊戲完成整個產品的研發。後續這款產品上線之後就獲得了蘋果兩次全球推薦的機會，而且入選了蘋果應用商城2017年度精選產品。對於網易來講，我們覺得這款遊戲是在AR領域非常具有裏程碑式價值的一款產品。
接下去，我將結合《悠夢》這款遊戲來分享我們在AR遊戲領域的探索。
首先，AR是一種新奇視覺的表達形式，它是一種非常適合展示性的功能，譬如角色展示和場景的展示，可以讓遊戲克服屏幕的限制。《悠夢》通過AR平面檢測技術，將遊戲場景投射到現實空間裏面，讓玩家可以拿著手機以自由的視覺領略到浮空塔、白墻青瓦、湖底世界，仿佛置身場景之中，這樣代入感非常強，另外視覺表現也非常華美，這裏面用到一些光照估計的技術，能夠估計當前的條件，大大提升遊戲畫面的真實性，產生亦真亦幻的視覺沖擊。
但是我們認為AR絕對不僅僅是一種展示的工具，目前市面上很多AR遊戲也只是把AR作為一個展示性的工具，就算一場非常爆款的AR遊戲，也只是把AR作為一個附加性的功能，我們認為這並沒有發揮出AR真正的價值。我們基於對AR價值的深度理解，和盤古工作室共同策劃了《悠夢》這款產品，首先我們結合AR的特點，選擇解謎類的遊戲作為我們嘗試的方向，這主要有兩方面的原因，一方面AR特性非常適合視覺差空間類的解謎遊戲，第二是AR對信任要求比較高，目前還不太適合長時間打開攝像頭體驗的形式。
所以我們覺得應該是比較適合解謎類等輕度的玩法，以世界誤差的方式，來包裝傳統的解謎類遊戲，形成橫看成嶺側成峰的全新體驗。
這張圖展示了視覺差玩法的原理。玩家可以在遊戲場景裏面看到3D模型和畫裏面相對的位置，用戶從不同位置觀察，模型和畫的角度不一樣，玩家必須拿著手機在空中找到一個合適的角度，讓你的模型和畫裏面線索圖能夠貼合在一起，就可以完成整個解謎的過程。在過程中玩家需要移動他的設備，去尋找合適的角度，來完成整個遊戲。
不僅是AR的遊戲玩法設計上，我們覺得AR也是需要有它結合AR特點的交互方式。《悠夢》結合了AR 6DOF自由視角、空間定位的特點，設計了一些全新的交互方式，取代了傳統屏幕按鍵的方式，讓操作變得更加自然和簡潔。因為就像剛才提到的視覺差玩法，本質上用戶操作只是移動手機在空間中去尋找合適的位置，來完成整個解謎的過程。同時通過AR形式將整個遊戲場景投放到現實空間，用戶通過移動手機，拉遠的時候可以看到整個遊戲場景，近看的時候可以看到遊戲場景裏面的一些微觀細節。這是傳統遊戲模式所不能實現的一些效果，本質上也是基於6DOF空間定位的特點，能夠實現的一些新穎的交互方式。
除了交互方式之外，我們認為在美術內容表現方面也要結合AR特點進行專門的設計，通過一些美術的手法，讓虛擬遊戲的內容跟現實的內容更加緊密無縫地連接在一起，而不會顯得非常突兀。因為很多遊戲它只是將一個虛擬的形象放到了現實的空間，現實和虛擬內容是相互彼此割裂的狀態。我們這個時候就需要采用一些巧妙的美術處理的手法，或者技術美術的手段，來讓虛擬和現實實現完美的貼合。
上面是幾個案例，一個來自於《悠夢》，玩家掃描桌面之後，《悠夢》的關卡地圖從桌面上逐步顯現，消失的場景部分則出現化為灰燼的特效。第二種就是傳送門的方式，以傳送門的方式實現真實世界和虛擬世界的一種無縫切換，給用戶帶來一種非常神奇的感覺。第三個展示的是基於現實環境貼圖處理的方法，用戶掃描可以以貼圖的方式將紋理信息疊加到虛擬模型上面，通過這種方式可以讓真實的物理環境和虛擬模型有一個更好的結合。
《悠夢》只是網易AR在遊戲領域的一個小試牛刀，我們現在正在跟各個遊戲工作室探索更多AR和各種不同品類遊戲玩法的結合，也期待以AR方式改變傳統的MMORPG、MOBA、FPS等各種傳統遊戲類型的玩法，來產生出更多新穎的玩法。
不光是在遊戲領域，我們和網易很多非遊戲部門也做了一些嘗試，利用AR小遊戲的方式，來改變他們傳統的運營方式和市場營銷方式。比如上圖第一個展示的是考拉三周年上線的AR娃娃機小遊戲，用戶掃描平面之後可以將娃娃機召喚在你的眼前，拿著手機從不同角度去觀看這個爪子到底對準下面哪一個娃娃。通過這種方式，讓用戶有一個更真實的抓娃娃體驗。而它也有運用到AR的空間感，這是在普通遊戲模式下比較難實現的一個特點。第二個是我們和香積寺舉辦的一個市場營銷活動，當時我們用AR放孔明燈的形式，讓整個市場營銷活動變得更加有趣味性，用戶可以在界面輸入他想表達的願望，這個願望會貼合到整個孔明燈模型上面，在夜幕下可以看到非常唯美的釋放孔明燈的效果。這樣的一些小遊戲，也可以放入到遊戲裏面，作為新穎的遊戲運營方式，甚至是市場運營的一些新的手法。
除了在遊戲這塊，網易AR部門還做了很多技術方面的研發，同時也為了方便遊戲開發團隊能夠更好地開發遊戲和相應內容，我們提供了一些產品來幫助他們，比如自研的AR遊戲引擎、針對原生應用開發的互聯網APP、網易洞見客戶端等等。
第一，AR遊戲引擎主要是提供給遊戲的開發團隊，幫助他們快速獲取AR的能力，幫助他們去實現想要的AR玩法。AR遊戲引擎是支持IOS和安卓雙屏幕。第二，我們在底層算法做了很多優化工作，讓它變得穩定、低功耗，同時也支持市面上主流的3D引擎的接入，幫助它們實現AR的玩法。第三，AR遊戲引擎底層兼容ARKIT、ARCORE、華為AR Engine，幫助AR遊戲實現最大機型覆蓋，讓遊戲AR玩法覆蓋更多遊戲玩家。
這是遊戲引擎所具備的一些能力，包括圖片識別與幹擾，平面識別與跟蹤，環繞市跟蹤以及光照恢復能力。光照恢復做一個簡單介紹，大家看到的這是在亮燈情況下，虛擬模型是一個亮著的狀態，但是關掉燈光之後，這個地球儀模型顯示的是一個暗的狀態，這個可以通過AR遊戲引擎實現的效果。後續我們會把更多的人工智能能力加到AR遊戲引擎裏面，包括人臉算法，還有肢體識別的算法、手勢識別的算法，幫助遊戲實現更多遊戲玩法和交互。
我們這個AR遊戲引擎不光支持了《悠夢》上市和覆蓋各大安卓渠道，同時也支持了三少爺的劍和初音速這個遊戲。目前我們也在持續跟進，會陸續跟大家見面的。
網易洞見客戶端定位的是AR內容瀏覽器，遊戲開發者可以基於洞見開發工具，開發一些趣味AR小遊戲，再來做一些相應的分發。另外，我們還有遊戲AR貼紙的功能，用戶可以基於洞見的開放平臺，將它們已有的3D資源，無需任何編碼即可以實現3D內容快速AR化，通過洞見平臺、甚至接入洞見ARSDK平臺做相應的分發。還有另外一款產品是網易洞見AR SDK，主要是針對於一些互聯網的應用，去幫助它們實現很好的AR效果。其中非常大的一個模塊，我們會跟一些相機類APP合作，幫助它們實現AR拍照的功能，幫助遊戲開發者基於我們開發的AR內容，分發到更多相機類的平臺。通過這種方式可以讓玩家和虛擬角色進行沒有門檻地錄制有意思的視頻，通過社交平臺做一些分享，從而產生病毒式傳播的效果。
網易AR部門之前更多是賦能於網易遊戲的部門，我們後續也會逐步開放，和更多網易體系外的遊戲開發者進行合作，用我們的技術賦能更多遊戲開發者，一起探索AR在遊戲領域的應用。
以上就是我的分享，謝謝大家。
點擊免費試用網易雲易盾安全服務（http://dun.163.com/?from=weixin_PP_20180808）
爆款AR遊戲如何打造？網易楊鵬以《悠夢》為例詳解前沿技術