谷歌最新AI實驗專案，根據使用者指揮動作實時生成交響樂
谷歌最新AI實驗專案，根據使用者指揮動作實時生成交響樂，圓你一個指揮家的夢！只需一個攝像頭，瀏覽器內即可執行，快來試試吧！
如果你是一位古典樂發燒友，而且有做樂團指揮的夢想，聽見古典樂就走不動道，就算沒有樂隊，也能自己對著空氣手舞足蹈指揮一番，那麼恭喜你，谷歌最新的人工智慧實驗專案簡直就是為你量身定製的。而且，不用擔心旁邊有人對你指手畫腳。
這個專案名為“半導體”，其中融合了谷歌過去一系列機器學習實驗中的最新成果。包括AIDuet（邀請使用者在瀏覽器中播放虛擬鋼琴演奏，並提供虛擬伴奏），以及AutoDraw（可以解釋使用者繪製的粗糙塗鴉是什麼，並將這些畫作轉變成為整潔的剪貼畫）。
該專案可以跟蹤使用者的動作，就像使用者在真正的管絃樂隊前揮舞雙手一樣，並根據對使用者動作的分析結果，實時生成一段交響樂。
“半導體”專案地址：
https://semiconductor.withgoogle.com/
下面有一段視訊，一起來看看演示效果吧！
自動播放
<>李彥巨集AI真的來了，我們生活中好多地方都用到了它AI如何製作經典的卡通風格字型效果？平面構成點線面的概念 字型選擇排版設計技巧 海報設計風格解析我最喜愛的設計師 llya的作品詳解AI繪製騰訊宣傳頁AI如何製作一個充滿故事性的人物角色“我是秋天最後的花朵 2017側耳詩會”在上海舉行維也納美泉宮交響樂團 年底帶來音樂盛宴華為手機AI技術提升！網友：距離蘋果不遠！劉強東要搞養豬廠？是京東發展需要，還是另有佈局？全球首個“AI合成人工智慧主播”上崗！比高考更重要的事：李彥巨集教你避開選專業時的萬丈深坑全球首個“AI合成主播”在新華社上崗，真人主播飯碗不保？智慧AI機器人小愛同學與天貓精靈對比，重點在後面差距很大！陽光明媚，景色朦朧，請欣賞印象派畫家莫奈的名作《撐陽傘的女人》
想試試嗎？只需在谷歌瀏覽器中啟動“半導體”，允許其訪問網路攝像頭許可權，然後面向攝像頭後退一步，直到你的手臂位於螢幕內的框架中，就可以開始指揮自己的“樂隊”了。不一定非要使用傳統的指揮手勢，本專案會提供建議提示，幫助你一路順利完成指揮。
全程無需指揮棒 隨意放飛自我
本專案背後的核心技術是PoseNet，這是一種面向姿勢估計的機器學習模型，可以在瀏覽器中對人的姿勢和動作進行分析和估計。它無需任何專門的硬體或軟體，即可檢測到影象和視訊中的人物形象。
最重要的是，因為所有處理都在瀏覽器中進行，所以無需向Google或其他任何人傳送任何資料，因此你可以完全自娛自樂，無需擔心由於資料洩露引發的一些不必要的尷尬。
這個專案可讓使用者通過瀏覽器管理自己的管絃樂隊。你可以通過移動手臂，來改變交響樂的速度、音量和樂器種類。該專案使用PoseNet，這是一個可在瀏覽器中使用的機器學習庫，通過網路攝像頭捕捉動作。
PoseNet使用來自現場樂器演奏時錄製的數百個微小音訊檔案，演算法會根據捕捉到的動作資訊播放這些音訊。
關於PoseNet和姿勢估計
姿勢估計指的是檢測影象和視訊中的人物形象的計算機視覺技術，比如可以確定某人的肘部出現在影象中的位置。需要明確的是，這項技術無法識別影象中的人物身份。該演算法僅僅是估計關鍵身體的關節在影象中的相對位置。
姿勢估計有許多用途，比如用於基於身體反應的互動式裝置，以及增強現實裝置、動畫製作、健身等用途。過去，雖然許多的姿勢檢測系統是開源的，但都需要專門的硬體或攝像頭，以及相當繁複的系統設定。
由於TensorFlow.js上的PoseNet在可瀏覽器中執行，只要有網路攝像頭，任何人都能在瀏覽器中體驗這項技術。目前該模型已經開源，Javascript的開發人員只需幾行程式碼即可使用。更重要的是，這實際上可以更好地保護使用者的隱私。