真人表演驅動動畫形象,魔琺科技想用AI提升動畫製作效率
動作捕捉技術在動畫、遊戲作品中已經屢見不鮮,然而動捕系統成本高、精度低、後期合成製作耗時長卻是該行業的痛點,以暴雪公司為例,CG動畫一秒鐘耗費成本就達10萬美金,一個遊戲或動畫製作完成則要數年時間。
那是否有技術能夠實現動畫行業的效率提升呢?近期,36氪接觸到一家公司「魔琺科技」,推出了一套全棧式端到端三維表演動畫解決方案 ,旨在實現實時、高效、高質量的動畫製作。
三維表演動畫解決方案怎麼工作的呢? 真人演員通過光學捕捉攝像頭和頭戴式RGB攝像頭,可以實時通過肢體、表情、手勢、眼神等驅動螢幕上虛擬形象的表演,所有反饋都是即時性的 。
魔琺科技創始人柴金祥介紹:基於計算機圖形學和計算機視覺技術,魔琺科技Xmov讓表演捕捉裝置上攝像頭的具備三維視覺感知能力。一方面可以捕捉表演者身體動作與道具移動等,另一方面能實時感知人臉上萬個數據點,甚至眼神變化 。
據悉,目前魔琺科技的AI表演動畫解決方案可以實現多人(10人以上)的實時、高質量動作表情捕捉、動畫驅動和繪製,這樣一來可以實現自動化的動畫製作流程,不需要在後期讓動畫師手動處理大量資料,以此提升製作效率,降低人力成本。
實時性上,為達到真人演員與螢幕上動畫人物動作、眼神一致, 魔琺科技運用了運動對映技術,從而實現了虛擬形象與真人演員動作、表情、手勢、 眼神完全實時同步 ,轉換成更為自然的虛擬形象效果。這套技術也讓虛擬偶像直播成為可能。
應用落地上,魔琺科技切入泛娛樂領域,提供了覆蓋三維虛擬形象智慧製作、AI表演動畫捕捉、AI表演對映、後期製作的全流程的AI表演動畫解決方案。
魔琺科技目標使用者是中小型的影視動畫、番劇、遊戲和虛擬偶像等泛娛樂行業內容製作公司,收費模式有兩種:按照內容製作收費,基於製作片源分鐘數計費;和內容製作公司合作,為他們提供定製化的軟硬體解決方案。據悉,目前公司已經與網易遊戲\\原力動畫等知名影視、遊戲動畫製作公司合作。
此外,魔琺科技也將計算機視覺技術運用於餐飲場景。柴金祥告訴36氪,魔琺科技針對團餐市場推出了無人收銀智慧餐飲解決方案,特別推出了人臉支付功能,旨在針對食堂等團餐場景,提升使用者支付效率,減少擁擠排隊現象。
據悉,魔琺科技基於計算機視覺和計算機圖形學技術也在建立智慧人機互動平臺,通過智慧攝像頭的視覺感知能力讓使用者可以在虛擬內容中進行沉浸式創作和互動。該產品將於未來上線。
魔琺科技的團隊均在計算機視覺和計算機圖形學領域有多年學術、行業積累。團隊核心成員來自卡內基梅隆、微軟研究院、美國德州農工大學、中科院等。
創始人柴金祥博士是連續創業者,曾為好買衣創始人兼CEO,擁有過美國卡內基梅隆大學博士學位,是美國德州農工大學電腦科學與工程系的終身教授,曾獲美國國家科學基金會接觸青年教授獎,在計算機視覺、計算機圖形學、虛擬現實、人工智慧領域多有建樹。
36氪獲悉,魔琺科技已獲得數千萬元級天使投資,紅杉資本領投,東方福海、晨興資本跟投,個人投資方還包括微軟人工智慧及微軟研究事業部負責人沈向洋博士。
————
我是鄭銦,ofollow,noindex" target="_blank">36氪超人學院創始學員 ,關注AI、AR/VR、物聯網、邊緣計算,專案交流請加微信zhengbaobao097825,註明公司、職位、姓名。
超人學院相信早期生態推動社會變革,使命是為早期生態培養領袖人才,詳情請戳36氪想要為進入創投圈的年輕人做一所「超人學院」,你來不來