淘寶直播：多媒體終端智慧互動實踐
隨著直播市場，特別是移動直播的繁榮，直播裡冒出非常多的形態，形成了千團直播。直播以超強互動的形式也深入各行各業，例如教育行業中，實時通話的技術在小班授課的應用，極大地改變了教育行業時空形態；比如說直播在企業培訓、早會等場景，也給企業帶來很大的辦公效能的提升，形成了淘寶和釘釘打造的群直播；當然，還有“直播+電商”這個行業，淘寶直播一定程度上定義了電商直播的玩法和形態。本文根據2018年杭州雲棲大會現場，淘寶高階技術專家長孫泰的演講《多媒體終端智慧互動實踐》整理成文，圍繞直播裡的互動玩法的實踐展開。
淘寶直播在過去三年取得快速的發展，呈現了一個非常好的行業生態。從規模來看，過去兩年增長的都在100%以上，成交的規模每年300%的增速在發展。直播互動給電商帶來一種新的形式，這裡面一些新的機構、達人和賣家，很好的把握了媒體直播風口，成長很快，直播也就演變成為淘寶電商裡一個非常重要的互動內容形式。
我們看一下直播這兩年的發展。我們在2016年初啟動直播這個專案，將直播引入到淘寶生態裡，目標是打造一個邊賣邊買的購物體驗，主播直接向粉絲和觀眾推送商品，這種所見所得的互動和之前在電商領域圖文領域有很大的改變，轉化率提升也很明顯；2017年，我們重點圍繞電商的互動營銷玩法，畢竟購物轉化是最關鍵的要素，所以我們在直播里加入常見的例如紅包、優惠券等等，還有每年的“雙11”、“雙12“，也都會有非常多圍繞電商的好玩的玩法；2018年，人工智慧的興起也給直播互動帶來新的元素，我們在流媒體互動增強方面也做了很多嘗試。
我們看一下淘寶直播的整個直播架構。對於直播系統來講，核心就是3塊，一是需要有圍繞直播的生產平臺，包括手機的、PC的、雲導播等等，以及圍繞整個直播管理的配套工具；另外就是直播間，提供靈活支援業務變化的直播間的承載功能；最後是圍繞主播和觀眾的一套實時的互動直播能力，也就是訊息通道。 直播的本質，要首先確保整個直播是不卡、不掉、不延時，核心是一個完整的直播的實時的互動體驗。
最近兩三年，人工智慧的發展比較快，所以我們在直播這個場景上也就可以做更多的嘗試和實驗，包括演算法在人臉的識別、美顏效果以及對肢體的識別能力的完善，端上推理引擎的優化以及硬體晶片的升級，也都給予直播不管是在PC端和移動推流端，帶來了很大的可能性。AI不僅改變了搜尋和推薦，也改變了在端上的一些效果的展現能力，尤其在直播流裡，都可以玩起來了。
今天我會圍繞直播來講一下淘寶直播在互動的場景下做的嘗試。重點是互動核心玩法：第一、 營銷互動 ，第二、 人機互動 ，第三、 智慧運營 。
常見的淘寶直播的玩法有紅包、優惠券、答題等等，這裡面簡單展示了一些在典型的營銷中的玩法。我們在開發的過程中也需要注意就是動態能力，因為直播裡互動的變化是比較快的，特別是要應對每年的大促，需要針對每個活動特點上線實時的互動玩法，所以在直播間裡構建出來一套能夠完整支撐動態化能力的方案，根據直播互動的狀況行為能力，形成一個標準的API，然後服務於WEEX和H5的開放體系，支撐業務的快速迭代是很重要的
對於直播來講，發一個紅包並不是目的，目的是希望能夠運營好粉絲，實現更多的轉化。在互動營銷玩法裡，讓直播能夠區分粉絲就顯得很重要了。所以我們增加了直播和每個使用者的親密度的玩法，定義了使用者在直播間裡所有的行為，譬如停留時長、是否發了評論、點贊，是否點選商品，是否加購、下單。這些行為最後都會對映成一個親密度分數，這樣子就可以根據營銷特點來合理確定運營分層策略，對直播的效率有非常大的提升，成交率轉化率也大大增加。
以上是圍繞營銷層的互動和兩個比較典型的關鍵性的技術，下面要講的是，在直播流裡面，隨著機器效能提升以及端側演算法能力的加強，我們能在直播流做什麼？以及使用者看直播裡不僅能夠在層裡做互動，還希望能夠在流裡做互動的技術嘗試。
首先是能夠支撐起這個基礎能力的框架的設計，關鍵點是在端上讓執行AI智慧的框架，阿里在這方面的嘗試很多，效能也都非常好，同時也結合了晶片能力做了非常好的優化，演算法效能和模型也都要重點考慮，這裡需要平衡演算法的效能和效果。另外是素材，圍繞媒體的演算法構建素材中心，包括素材的編輯工具，提供線上的下載，實時的效果渲染。另外，我們希望能夠在流裡做展示的話，能夠展示出可以互動的效果，那麼我們在渲染能力結合直播推流的也需要在效能上特別關注。畢竟直播編碼推流也很耗效能。
我們希望流裡的內容不僅能夠被增強，也能夠參與互動，譬如說，主播往直播間裡灑紅包雨，使用者可以點選正在飄的紅包領取優惠券。在這裡面關鍵點就是直播關鍵幀技術。我們看整個直播從前到後的流程，第一是影象採集，然後編碼成一幀一幀的資料，然後封包推流出去。所以我們需要在畫面裡產生的一些動作，實時地寫到當前幀的meta資訊裡，這樣在播放解碼的時候，就可以解析到流的資訊，並往上發通知，業務層就可以做進一步的互動行為，就可以產生進一步的特效和玩法。但是也有一些問題，比如說直播幀如意丟了怎麼辦？這裡面往往會通過訊息通道里做一些補償。
基於端側智慧平臺和直播關鍵幀技術，我們在過去一年裡面，在直播也在做一些嘗試，譬如在造物節的時候我們做了一個簡單的玩法，就是識別使用者的手勢，讓講解商品的時候會變得更加有趣，在這裡面需要我們對手勢進行識別，對手勢不同的位置做分類，然後識別出來，知道當前指揮的手到底在哪裡。
這個玩法是今年在世界盃演播廳嘗試的互動玩法，在使用者裡引起了很大的關注。這個玩法是在演播廳裡上層虛擬一個星空，舞臺中央讓嘉賓在直播中做一些遊戲，這個遊戲是在頂部空間裡球會往下掉，嘉賓頂球，得分以後會引發一個紅包雨。這個玩法我們是在演播廳裡面基於伺服器直接部署，玩法關鍵點在於第一我們對嘉賓的肢體識別，另外需要用兩個固定的機位來計算嘉賓的深度資訊，並計算嘉賓在遊戲裡面的得分。
綠幕扣圖，綠幕扣圖是比較常見的，主播也在用，但是畢竟來說有一塊綠布也是有些成本的，所以我們希望能夠做到自然場景特別是簡單自然場景的扣圖，譬如主播在講解商品的時候，可以把商品視訊投放在旁邊；再比如直播說講到海邊的場景，能夠讓背景實時切換成大海的背景，同時可以隨意回覆到真實的現場場景，真實感也比較強。這是直播商品的識別，在直播間可以圍繞商品做一些效果和特效，這些都能夠帶來更好的氛圍和更好的轉化。
以上是在人機互動以及效果增強方面我們做的一些嘗試，對於直播來說，核心還是如何更好地運營粉絲，如何讓的工作人員效率更高。因為現在一個主播後面往往有一個團隊在支撐，包括問題的回覆、畫面的切換，推送營銷等等。圍繞這些場景我們也做了一些的嘗試
（圖示）這是電商直播裡比較特別的場景，很多使用者在直播裡往往都會問一類問題：主播多重，胖不胖，因為女生會關注體型是不是和主播一樣的，這個衣服我們能不能穿下，所以很多直播在直播間都會放一塊黑板，而我們現在也在推流端給主播提供了一些小卡，可以讓他放自己的資訊，同時我們也在嘗試通過人臉識別，自動識別主播是誰，並切換到相應的模特小卡，這裡也應該比較好玩。
這個是直播小蜜，在直播裡面，評論是使用者和主播的主要互動方式，但是主播沒有辦法回覆所有的觀眾，導致很多很好的問題都沒有辦法得到很好回答，我們分析過很多使用者的問題，往往都集中在商品資訊，所以我們在端上部署一個直播小蜜的產品，可以做到自動回覆，這個功能點上線以後，整個自動回覆率都得到了非常大的提升，同時直播間服務能力也得到提升，文本回復只是一部分，我們也有切片的回覆的功能，這也正在嘗試。
總的來看，從技術的視角來看，我們把整個直播分為三個切面，一是在互動層的營銷互動，關鍵點是一套能夠動態化、能夠支撐不同複雜營銷場景的一個動態化的技術；第二個切面，圍繞直播流，藉助於端上的AI處理能力，提升直播內容渲染和互動能力，第三個切面是圍繞直播語音和文字，通過語意理解來提升主播的營銷效率，這些是機器智慧在端上的發展，帶來在直播場景下的技術紅利。
原文釋出時間為：2018-10-8
本文作者：長孫泰