前言

    隨著近五年網際網路和大資料技術的蓬勃發展，各類資料產品應運而生，從阿里自身大資料的應用發展來看可以看到幾方面的挑戰：

• 一方面為了應對資料量高速的增長，衍生出各類的分散式資料計算與儲存技術解決各類應用場景下的難題，而非傳統IT架構當中只需要單一資料庫就可以支撐整個企業的資料分析報表問題；各類資料的積累如何進行有效的整合與管理，各個業務庫的資料之間如何打通在多個計算儲存資源上合理的分佈管理也成為一大難題；

• 另一方面，大資料在各個行業當中的應用，如數字廣告、網際網路金融、電子商務、線上風控等場景當中，一個數據應用需要囊括報表分析、行為預測、實時監控、信用評分、個性化推薦、文字挖掘、時空資料等各類大資料技術方法的綜合運用，而不僅僅是做企業經營的報表統計；

• 並且，當下對運用資料的使用者也不只是侷限在專業的資料分析師、資料倉庫工程師，更多的是能夠讓非技術背景的業務人員能夠以他能夠理解的方式靈活的探查資料。

• 
  

• 使用者畫像的含義

使用者畫像（persona）的概念最早由互動設計之父Alan Cooper提出:“Personas are a concrete representation of target users.” 是指真實使用者的虛擬代表，是建立在一系列屬性資料之上的目標使用者模型。隨著網際網路的發展，現在我們說的使用者畫像又包含了新的內涵——通常用戶畫像是根據使用者人口學特徵、網路瀏覽內容、網路社交活動和消費行為等資訊而抽象出的一個標籤化的使用者模型。構建使用者畫像的核心工作，主要是利用儲存在伺服器上的海量日誌和資料庫裡的大量資料進行分析和挖掘，給使用者貼“標籤”，而“標籤”是能表示使用者某一維度特徵的標識。具體的標籤形式可以參考下圖某網站給其中一個使用者打的標籤。

• 使用者畫像的內容

使用者畫像包含的內容並不完全固定，根據行業和產品的不同所關注的特徵也有不同。對於大部分網際網路公司，使用者畫像都會包含人口屬性和行為特徵。人口屬性主要指使用者的年齡、性別、所在的省份和城市、教育程度、婚姻情況、生育情況、工作所在的行業和職業等。行為特徵主要包含活躍度、忠誠度等指標。

除了以上較通用的特徵，不同型別的網站提取的使用者畫像各有側重點。

• 以內容為主的媒體或閱讀類網站，還有搜尋引擎或通用導航類網站，往往會提取使用者對瀏覽內容的興趣特徵，比如體育類、娛樂類、美食類、理財類、旅遊類、房產類、汽車類等等。

• 社交網站的使用者畫像，也會提取使用者的社交網路，

  從中可以發現關係緊密的使用者群和在社群中起到意見領袖作用的明星節點。

• 電商購物網站的使用者畫像，一般會提取使用者的網購興趣和消費能力等指標。網購興趣主要指使用者在網購時的類目偏好，比如服飾類、箱包類、居家類、母嬰類、洗護類、飲食類等。

• 消費能力指使用者的購買力，如果做得足夠細緻，可以把使用者的實際消費水平和在每個類目的心理消費水平區分開，分別建立特徵緯度。

另外還可以加上使用者的環境屬性，比如當前時間、訪問地點LBS特徵、當地天氣、節假日情況等。

當然，對於特定的網站或App，肯定又有特殊關注的使用者緯度，就需要把這些維度做到更加細化，從而能給使用者提供更精準的個性化服務和內容。

• 使用者畫像的作用

提取使用者畫像，需要處理海量的日誌，花費大量時間和人力。儘管是如此高成本的事情，大部分公司還是希望能給自己的使用者做一份足夠精準的使用者畫像。

那麼使用者畫像有什麼作用，能幫助我們達到哪些目標呢？

大體上可以總結為以下幾個方面：

1. 精準營銷：精準直郵、簡訊、App訊息推送、個性化廣告等。

2. 使用者研究：指導產品優化，甚至做到產品功能的私人定製等。

3. 個性服務：個性化推薦、個性化搜尋等。

4. 業務決策：排名統計、地域分析、行業趨勢、競品分析等。

使用者畫像的應用

1、精準營銷：這是運營最熟悉的玩法，從粗放式到精細化，將使用者群體切割成更細的粒度，輔以簡訊、推送、郵件、活動等手段，驅以關懷、挽回、激勵等策略。

2、資料應用：使用者畫像是很多資料產品的基礎，諸如耳熟能詳的推薦系統廣告系統。操作過各大廣告投放系統的同學想必都清楚，廣告投放基於一系列人口統計相關的標籤，性別、年齡、學歷、興趣偏好、手機等等。

3、使用者分析：雖然和Persona不一樣，使用者畫像也是瞭解使用者的必要補充。產品早期，PM們通過使用者調研和訪談的形式瞭解使用者。在產品使用者量擴大後，調研的效用降低，這時候會輔以使用者畫像配合研究。新增的使用者有什麼特徵，核心使用者的屬性是否變化等等。

4、資料分析：這個就不用多提了，使用者畫像可以理解為業務層面的資料倉庫，各類標籤是多維分析的天然要素。資料查詢平臺會和這些資料打通。

用大資料畫像分析應用有如下特徵

• 基於行為等明細資料的分析

        在過去以各項KPI指標計算為主要分析目的背景下，很容易把所有的指標計算提前構建。隨著資料採集和使用場景的豐富，業務人員希望能夠自由地分析各類行為明細資料，如檢視不同客戶屬性在各個商品類目下消費的偏好和關聯購買的情況，或者不同時間採購的不同型別、屬性、地域裝置的故障率與檢修情況，還能夠把多個維度細分下的具體客戶/裝置清單進行檢視。業務人員進行的分析可能是任意維度之間的交叉關係，就很難進行預先的計算。

• 從半結構化資料中抽取特徵

  從另一點來說，靈活分析還意味著能夠與預測、評分、文字特徵提取等演算法技術相結合，進行廣度與深度兼備的分析。往往很多的畫像特徵如抽象的興趣，如喜歡動漫``愛美一族等風格興趣偏好類的特徵，通常需要通過演算法從使用者的點選、收藏、購買行為與相關物品的文字描述當中進行特徵抽取。這就需要能夠藉助一些偏好計算、文字挖掘類的演算法能夠從這些半結構化的資料當中對使用者互相的特徵進行深度的挖掘。

• 互動式的查詢分析

  業務人員希望得到的分析是在資料當中探索有用的資訊，如發現影響消費者購買的可能因素，或者故障裝置的關聯因素，這就需要能夠根據不斷調整的篩選條件、維度組合、下鑽上聚能夠快速返回結果，直到獲取到足夠多的資訊。這就對查詢速度的高響應提出了要求。

        在這種互動式的分析場景下也對整體介面的組織提出了要求，業務人員關心的是在不斷探索中獲得的資料洞察，如果還需要使用者進行復雜的報表配置或者是資料結構/技術上的學習理解，就會大大影響資料探索發現的過程。各種資料的分析還需要與各種型別的視覺化形態結合，除了常規的圖表外，可能還需要各種尺度特別是城市內尺度的地圖圖表，表達拓撲關係的關係網路圖表，以及能展示文字特徵的圖表。

• 使用者畫像的生產

使用者特徵的提取即使用者畫像的生產過程，大致可以分為以下幾步：

1. 使用者建模，指確定提取的使用者特徵維度，和需要使用到的資料來源。

2. 資料收集，通過資料收集工具，如Flume或自己寫的指令碼程式，把需要使用的資料統一存放到Hadoop叢集。

3. 資料清理，資料清理的過程通常位於Hadoop叢集，也有可能與資料收集同時進行，這一步的主要工作，是把收集到各種來源、雜亂無章的資料進行欄位提取，得到關注的目標特徵。

4. 模型訓練，有些特徵可能無法直接從資料清理得到，比如使用者感興趣的內容或使用者的消費水平，那麼可以通過收集到的已知特徵進行學習和預測。

5. 屬性預測，利用訓練得到的模型和使用者的已知特徵，預測使用者的未知特徵。

6. 資料合併，把使用者通過各種資料來源提取的特徵進行合併，並給出一定的可信度。

7. 資料分發，對於合併後的結果資料，分發到精準營銷、個性化推薦、CRM等各個平臺，提供資料支援。

 下面以使用者性別為例，具體介紹特徵提取的過程：

1.提取使用者自己填寫的資料，比如註冊時或者活動中填寫的性別資料，這些資料準確率一般很高。

2. 提取使用者的稱謂，如文字中有提到的對方稱呼，例如：xxx先生/女士，這個資料也比較準。

3. 根據使用者姓名預測使用者性別，這是一個二分類問題，可以提取使用者的名字部分（百家姓與性別沒有相關性），然後用樸素貝葉斯分類器訓練一個分類器。過程中遇到了生僻字問題，比如“甄嬛”的“嬛”，由於在名字中出現的少，因此分類器無法進行正確分類。考慮到漢字都是由偏旁部首組成，且偏旁部首也常常具有特殊含義（很多與性別具有相關性，比如草字頭傾向女性，金字旁傾向男性），我們利用五筆輸入法分解單字，再把名字本身和五筆打法的字母一起放到LR分類器進行訓練。比如，“嬛”字的打法：『 女V+罒L+一G+衣E = VLGE 』，這裡的女字旁就很有女性傾向。

4. 另外還有一些特徵可以利用，比如使用者訪問過的網站，經常訪問一些美妝或女性服飾類網站，是女性的可能性就高；訪問體育軍事類網站，是男性的可能性就高。還有使用者上網的時間段，經常深夜上網的使用者男性的可能性就高。把這些特徵加入到LR分類器進行訓練，也能提高一定的資料覆蓋率。

• 資料管理系統

使用者畫像涉及到大量的資料處理和特徵提取工作，往往需要用到多資料來源，且多人並行處理資料和生成特徵。因此，需要一個數據管理系統來對資料統一進行合併儲存和分發。我們的系統以約定的目錄結構來組織資料，基本目錄層級為：/user_tag/屬性/日期/來源_作者/。以性別特徵為例，開發者dev1從使用者姓名提取的性別資料存放路徑為 /user_tag/gender/20170101/name_dev1，開發者dev2從使用者填寫資料提取的性別資料存放路徑為 /user_tag/gender/20170102/raw_dev2。

從每種來源提取的資料可信度是不同的，所以各來源提取的資料必須給出一定的權重，約定一般為0-1之間的一個概率值，這樣系統在做資料的自動合併時，只需要做簡單的加權求和，並歸一化輸出到叢集，儲存到事先定義好的Hive表。接下來就是資料增量更新到HBase、ES、Spark叢集等更多應用服務叢集。

• 應用示例：個性化推薦

以電商網站的某種頁面的個性化推薦為例，考慮到特徵的可解釋性、易擴充套件和模型的計算效能，很多線上推薦系統採用LR（邏輯迴歸）模型訓練，這裡也以LR模型舉例。很多推薦場景都會用到基於商品的協同過濾，而基於商品協同過濾的核心是一個商品相關性矩陣W，假設有n個商品，那麼W就是一個n * n的矩陣，矩陣的元素wij代表商品Ii和Ij之間的相關係數。而根據使用者訪問和購買商品的行為特徵，可以把使用者表示成一個n維的特徵向量U=[ i1, i2, ..., in ]。於是U*W可以看成使用者對每個商品的感興趣程度V=[ v1, v2, ..., vn ]，這裡v1即是使用者對商品I1的感興趣程度，v1= i1*w11 + i2*w12 + in*w1n。如果把相關係數w11, w12, ..., w1n 看成要求的變數，那麼就可以用LR模型，代入訓練集使用者的行為向量U，進行求解。這樣一個初步的LR模型就訓練出來了，效果和基於商品的協同過濾類似。

這時只用到了使用者的行為特徵部分，而人口屬性、網購偏好、內容偏好、消費能力和環境特徵等其他上下文還沒有利用起來。把以上特徵加入到LR模型，同時再加上目標商品自身的屬性，如文字標籤、所屬類目、銷量等資料，如下圖所示，進一步優化訓練原來的LR模型。從而最大程度利用已經提取的使用者畫像資料，做到更精準的個性化推薦。

• 點評

使用者畫像是當前大資料領域的一種典型應用，也普遍應用在多款網易網際網路產品中。本文基於網易的實踐，深入淺出地解析了使用者畫像的原理和生產流程。

精確有效的使用者畫像，依賴於從大量的資料中提取正確的特徵，這需要一個強大的資料管理系統作為支撐。網易大資料產品體系中包含的一站式大資料開發與管理平臺 – 網易猛獁，正是在網易內部實踐中打磨形成的，能夠為使用者畫像及後續的業務目標實現提供資料傳輸、計算和作業流排程等基礎能力，有效降低大資料應用的技術門檻。

看完本文有收穫？請轉發分享給更多人

歡迎關注“暢聊架構”，我們分享最有價值的網際網路技術乾貨文章，助力您成為有思想的全棧架構師，我們只聊網際網路、只聊架構！打造最有價值的架構師圈子和社群。

長按下方的二維碼可以快速關注我們