python資料分析：內容資料化運營（上）——知識點

阿新 • • 發佈：2018-12-26

何為資料化運營

內容運營是指基於內容的策劃、編輯、釋出、優化、營銷等一系列工作，主要集中在網際網路、媒體等以內容為主的行業領域。內容運營根據內容生產方式的不同可分為UGC、PGC和OGC三種。

UGC（User-generated Content），使用者生產內容。這是論壇、貼吧、微博時代的主要內容生產方式，內容主要由參與內容載體的使用者產生，運營方本身不產生任何實質性內容。這些使用者一般都是非專業“寫手”，通常基於興趣、愛好等共同語言而自發形成內容。
PGC（Professionally-generated Content），專業生產內容。PGC相比UGC，都是由使用者產生內容，但是這裡的使用者主要指的是有專業背景、資歷的使用者，包括行業領袖、知識專家、書籍作者等，這些人通常能產生非常高質量的專業內容。現在很多知識性網站都是此類形式，例如知乎、個人微信公眾號等。

OGC（Occupationally-generated Content），職業生產內容。OGC相比PGC在內容專業度上相當，但是OGC的特點是將內容生產作為一門“職業”，因此相對應的從內容生產中獲取收入是這一型別的顯著性特徵。OGC的普遍代表是各個新聞類網站和媒體，一般都以付費投稿、分成等方式吸引高質量的“寫手”參與內容生產；當然，除了邀請外部專家參與內容生產，這類網站自身也擁有很多職業內容生產者。

資料化運營指標

原創度指標：可以先將不同的內容做分詞，然後基於分詞結果做詞頻統計，基於統計結果評估非重複關鍵字的佔比。公式為：1-重複關鍵字數量/總關鍵字數量
收錄數量/比例：收錄數量指的是所有內容中能被搜尋引擎檢索並加入到期內容索引中的數量，其數量佔總內容數量的比例就是收錄比例。

關鍵字排名：關鍵字排名指的是在搜尋引擎中搜索某個文章相關的關鍵字時，自身網站在整個搜尋引擎中的排名。一般情況下，關鍵字排名越高，被使用者點選的機會越大。影響關鍵字排名的因素也非常多，包括外鏈數量、關鍵字密度等可評估指標以及很多不具有固定標準的參照指標，包括網站路徑設定、子域名設定、合理的返回碼、死連結處理、關鍵字在內容中的分佈（如meta、title、alt等）、內容型別（文字比影象和視訊更容易被搜尋引擎理解）等。
點選量和點選率：被使用者點選是獲得使用者流量的關鍵，前面所有的工作都是為了吸引使用者流量，因此點選量和點選率是衡量使用者點選程度和資訊匹配程度的重要指標。點選率=點選量/總展示次數

收藏量：收藏越多意味著使用者日後再次瀏覽或使用該內容的機會越多。
點贊量：點贊在不同的內容中有不同的形式，並且“點贊”不一定都是積極評價機制，因此點贊理解為評分更恰當。
評論量：評論是對內容互動的基本形式，參與評論的使用者越多證明該內容能吸引使用者互動的價值越大。評論本身的質量評估也往往是一個重點難點，這裡面涉及很多非結構化文字資訊的抓取、判斷、識別、分析以及潛在語義的分析，情感分析、使用者傾向分析等相關話題便針對此類分析展開。
傳播量/傳播率：傳播是可以產生更多曝光量、覆蓋更多使用者群體併產生更大價值的關鍵環節，傳播通常基於一定的形式產生，例如轉發、分享等。
二次傳播：在資訊傳播個性化、傳播主題個人化的今天，所有人都可以生產和傳播內容，因此內容的傳播不再是由媒體到個人的單向傳播，而是以每個人作為傳播節點都能形成傳播效應。

目標轉化指標：

第一類：希望使用者越多儘量多的文章，停留更長的時間等。可以量化訪問深度、平均停留時間等體驗類指標，然後通過計算完成這些指標的使用者數的比例來計算目標完成率。可以計算留下聯絡方式的使用者比例來計算目標轉化率。
第二類：希望使用者能夠留下聯絡方式，方便日後使用者運營。
第三類：特定的目標事件，例如下載內容、點選廣告等特定事件。可以計算完成特定事件的發生次數來計算目標轉化率。
第四類：能通過打賞、小額支援、內容付費等形式完成付費閱讀。直接採用跟電子商務網站類似的方式，以打賞為標準，可以計算打賞量、打賞率、平均打賞金額、重複打賞率等指標。

運營場景

內容採集

內容採集是內容運營的起始流程，很多網站甚至自身不產生任何內容，專門以採集其他網站的內容為生。
在內容採集過程中，資料主要可以應用的方向包括：

不同來源的內容原創度和重複度如何？
不同來源的資訊主題分別是什麼？
如何從不同的採集文章中提取關鍵字標籤？
如何從不同網頁中獲取符合目標需求的資料內容？

內容創作

內容創作是自身產生內容的過程，主要涉及內容的主體、標題、排版、插圖等內容本身，也包括基於SEO相關策略的內容優化。資料的主要應用場景包含：

網站使用者群體關注那些內容
K1關鍵字的相關關鍵字
為文章建立自動摘要和關鍵字
基於現有文章做文字糾錯
不同的內容間的潛在關聯
所有內容的完整隻是圖譜
探尋新熱點，緊跟潮流

內容分發

內容分發指的是基於一定的分發策略將內容推送給特定目標物件的過程，目的是更加高效、精準的觸達內容。應用場景包括：

根據使用者之間的高相似進行內容的推薦
根據使用者輸入的內容，只能推薦相關搜尋結果
識別不同使用者的行為模式，然後針對性的提供其最匹配的內容
基於內容相似度推薦更多內容給使用者
將使用者興趣、時間週期變化以及內容結合起來形式最佳內容TOP榜單
根據不同的運營目標合理安排內容上線和下線時間
組織內容，以實現資源位對各個內容貢獻的最大價值

內容管理

內容管理是對內容相關資訊的稽核、檢驗、識別、分析等，它是管控和治理日常事務的統稱，主要場景：

識別垃圾評論
將使用者釋出的違規“黃圖”識別出來
使用者評論的情緒是積極的還是消極的
哪些內容含有“不能出現”的關鍵字，或者相近關鍵字
使用者新發布的內容是否直接“複製”產生的，其相似度有多少
如何對站內信中的垃圾資訊做識別，以減少使用者收到惡意廣告的侵擾概率

內容資料分析模型

情感分析模型

情感分析是對情感傾向的分析，用於分析特定物件對相關屬性的觀點、態度、情緒、立場以及其他主觀感情的技術，分析結果通常屬於正向、中性或負向的一種。
情感分析的應用場景：

競爭情報：獲取使用者觀點中關於競爭對手的特定資訊。
輿情監測：獲得有關自身網站、內容、產品、服務、品牌、形象等相關資訊的監控和預測，以獲得有較強影響力、傾向性的言論和觀點的現狀及未來趨勢。
客戶傾向分析：客戶對於企業的傾向是積極還是消極的分析，利於建立全面的客戶與企業形象認知。
話題監督：監督特定話題下，所有使用者的話題集中點、主要內容、話題演變等。
口碑分析：使用者對於企業各方面的感知和認識，尤其對於具有良好傳播效應的意見領袖的口碑把控。

情感分析常用方法：除了非負矩陣分解、基於遺傳演算法的情感分析之外，使用的最多的還是監督學習演算法，例如樸素貝葉斯、K近鄰和支援向量機等。使用分類方法下做情感分析的基本思路是：

文字預處理，包括去除無效標籤、編碼轉換、文件切分、基本糾錯、去除空白、大小寫統一、去標點符號、去停用詞、保留特殊字元等。
文字分詞，在中文環境下需要特定的分詞模型。
文字向量化，將文字特徵轉化為向量空間模型來標示。
特徵提取，對於海量稀疏特徵做特徵提取，包括特徵選擇和資料絳維等方法。
分類建模和效果評估，選擇特定的分類模型，建立模型並做效果評估和結論分析。

搜尋優化模型

使用者在某些文字之間可能存在頻繁的關聯查閱關係，而這些關鍵字之間會蘊藏使用者的潛在意圖。例如，當用戶在搜尋引擎搜尋“熱度分析”一詞時，相關的搜尋詞可能包括：空間熱度分析、關鍵詞熱度分析、音訊熱度分析、熱詞分析、關鍵詞熱度分析十法、關鍵詞熱度分析、網路遊戲熱度排行榜等。
搜尋優化模型可以幫助使用者更快找到有興趣的潛在內容，可用於搜尋過程中的聯想功能、相關的結果提示和二次搜尋建議。
常用的搜尋優化模型的方法是關聯模型，例如Apriori、FP-growth等，有關關聯模型的更多內容。

文章關鍵字模型

用於提取文字中跟內容最相關的詞語，關鍵字提取的結果常用於文件檢索，文章標籤編輯等，也經常用在文字聚類、文字分類、關鍵字摘要等方面。
關鍵字模型能生成簡短的關於文件內容的指示性資訊，將文件的主要內容或核心關鍵字呈現給使用者，這樣可以節省大量的瀏覽時間並提高關鍵資訊的展示能力。
文章關鍵字模型抽取應用場景：帖子、新聞、資訊、評論、問答等的標籤、內容和meta資訊的產生。
常用的抽取方法有：詞頻統計、TF-IDF模型獲得文字的主要關鍵字

主題模型

主題模型（Topic Model），是提煉出文字中隱含主題的一種建模方法。在統計學中，主題就是詞彙表或特定詞語的詞語概率分佈模型，它是文字（文章、話語、句子）所表達的中心思想或核心概念。例如，當提到IBM時，可能我們會想到ThinkPad；提到比爾蓋茨，我們就會想到Windows。IBM和ThinkPad、比爾蓋茨和Windows就是各自主題裡面相關的概念。
主題模型是一個能夠挖掘語言背後隱含資訊的利器，是語義挖掘、自然語言理解、文字解析和文字分析、資訊檢索的重要組成部分。

它可以衡量文件之間的語義相似性，是文字聚類、分類、情感分析、文件相似度等應用的重要組成部分。
它可以解決多義詞的問題，實現準確的詞性標註。
它可以排除文字中噪音，從中準確的提煉出主題關鍵字。

主題模型克服了傳統資訊檢索中文件相似度計算方法的缺點，能夠在海量資料中自動尋找出文字間的語義主題。主題模型可以應用到圍繞主題產生的應用場景中，例如搜尋引擎領域、情感分析、輿情監控、個性化推薦、社交分析等。主題模型的得到的結果，可以在去停用詞之後，配合標籤雲等形式做進一步的形象展示。
常用的主題模型包括：

潛在狄利克雷分配模型（Latent Dirichlet Allocation, LDA）。
概率潛在語義分析（ProbabilisticLatent Semantic Analysis, pLSA）。
其他基於LDA的衍生模型，如Twitter LDA, TimeUserLDA, ATM, Labeled-LDA, MaxEnt-LDA等。

垃圾資訊檢測模型

垃圾資訊檢測模型是一種分類應用，主要用於檢測特定物件是否包含垃圾資訊，是網站內容管理的重要方式和途徑。
常見的垃圾資訊檢測應用包括：

從電子郵件中過濾垃圾郵件。
從站內信中過濾含有惡意資訊的資訊。
從評論或留言中過濾過激言論。
從使用者釋出的文章中識別負面題材。
垃圾資訊檢測模型可以將於分類模型來實現，常用方法：樸素貝葉斯、矩陣變換法、K近鄰、支援向量機、神經網路等。

除了基於有標籤的訓練集做監督式學習外，還可以使用非監督式的方法做垃圾資訊監測，例如：

基於內容相似度，分析新評論與已有的垃圾資訊的內容相似度，如果相似度高於一定閾值，則認定為垃圾內容。當然，這樣做的前提是有一份相對完整的垃圾資訊的集合，並且需要不斷維護。
基於固定資訊的過濾，例如固定IP、包含特定關鍵字、包含URL、來源於特定域等，這些就不屬於演算法類應用了。
除了針對文字垃圾資訊檢測外，還可包括更多型別的內容形式，例如視訊、圖片、語音等。

A/B測試

A/B測試是網站優化的基本方法，常見於高階網站分析系統。A/B測試包括雙變數測試和多變數測試。Adobe Analytics、Webtrekk、Google Analytics等網站分析工具都自帶A/B測試功能。
A/B測試的功能設定在不同系統中有差異，但流程基本一致：

設定測試名稱。
設定測試的原始網頁和優化網頁。
測試引數調整，包括測試參與測試的流量、版本的流量分配原則（是否平均分配）、資料測試時間、置信度閾值、設定轉化目標（指定目標或事件）、結束後是否直接應用最優結果等。
原始網頁和測試頁面部署測試程式碼。
部署上線和測試應用及優化。根據上線測試結果做多個版本的迭代更新及測試，或將最佳版本上線應用。

經過以上五步，網站測試工作即可自動執行，待資料條件滿足後，資料報告中會出現A/B測試結果；如果設定了自動應用，最優網頁會自動上線而無需人工參與。

螢幕瀏覽佔比

在做使用者行為分析時，我們經常會關注使用者瀏覽了某個頁面的內容，也知道使用者的停留時間，但是卻不知道到底使用者在該頁面上瀏覽了多少或哪些內容。藉助於特定的頁面瀏覽百分比方法，我們可以清楚地知道使用者在每個頁面上看了多少內容。
要實現這一資料的跟蹤，通常需要額外的程式碼（一般稱為Plugin）來實現。具體實現過程跟網站流量跟蹤程式碼的部署有關，籠統而言，該過程可以分為三步：

將實現特定功能的Plugins JS程式碼寫入通用全域性指令碼；
在通用全域性指令碼中，啟用Plugins功能；
在網站分析系統後臺，指定該變數的賦值欄位，即通過特定Plugins採集到的資料放到哪個欄位或變數（注：如果已經在Plugins JS中指定變數則無需重複定義）。

個性化內容運營

個性化內容運營價值

增加長尾內容曝光

很多網站由於內容過多，眾多優質內容無法被使用者看到，內容瀏覽呈現出長尾特點。站內個性化網站運營可以將長尾內容與使用者個性化需求結合，通過長尾內容滿足不同使用者需求；個性化規則中還可以指定人工干預，通過固定展示規則達到針對特定內容曝光的目的。

提高站內使用者體驗

個性化運營的本質是將運營的核心從企業轉移到使用者，即所有的內容都是根據使用者需求和喜好而產生；在這一過程中，使用者從進入落地頁開始的整個體驗度上升，同時企業也將從中受益，表現在資料上是訪問深度和停留時間的增加、退出率和跳出率的降低以及最終轉化效果的提升。

提高網站轉化率

對於內容型網站而言，個性化運營通過精準的內容匹配為使用者推薦最適合或最喜歡的內容或服務，在相同的流量規模和流量結構下必然會提升網站轉化率，這也是個性化運營對企業最重要的貢獻之一；另外，個性化運營還能通過對已經標識的流失使用者進行精準的資訊推送，從而實現對流失使用者的挽回。

個性化運營的資訊推送方式

根據瀏覽資料的個性化推送

看了還看：根據使用者當前瀏覽內容推薦下一個最可能感興趣的內容，通常在內容詳細頁的兩側或底部出現，主要作用是引導使用者瀏覽行為。
其他使用者在看：根據使用者的瀏覽歷史，推薦和該使用者瀏覽行為類似的其他使用者最可能瀏覽的內容，通常出現在頁面底部，主要作用的引導使用者瀏覽。

根據搜尋資料的個性化推送

根據搜尋資料的個性化運營是所有個性化推薦中較為複雜的部分，原因是基於搜尋的個性化推薦增加了自然語言處理的過程，這個過程相對複雜且準確率要求較高。根據搜尋詞的個性化推薦目前主要應用於兩種形式：

一是當用戶搜尋完成後，會在搜尋頁面側邊欄或底部出現“搜尋該詞的使用者還會搜尋”，該部分是與上述推薦結果類似的資訊展示。
二是推薦系統會在使用者搜尋結果下面提示“相關搜尋詞”資訊，用來確定搜尋需求、擴大搜索範圍、提高搜尋質量等。

除了以上使用者的行為型別外，其他可能出現的推薦場景包括：基於使用者評論的推薦、基於收藏的推薦、基於關注的推薦等，其推薦方式與上述場景類似。

個性化運營的主要演算法支撐

實現個性化運營的主要演算法包括協同過濾、關聯規則、基於內容的推薦、社會網路演算法以及組合演算法。

協同過濾

協同過濾（Collaborative Filtering Recommendations, CF）是利用興趣相同、擁有共同經驗的群體喜好來預測使用者喜好的方法。協同過濾通常分為基於專案的協同過濾（item-based CF）和基於使用者的協同過濾（user-based CF），核心是根據不同使用者對專案的評分來預測專案之間或使用者之間的相似性，並基於這種相似性做出推薦。除此以外還有基於模型的協同過濾以及混合協同過濾機制。
協同過濾推薦的自動化和個性化程度高，並且能處理複雜的內容和推薦物件，可以針對性的推薦使用者尚未發掘的新興趣點；但是，協同過濾在面對新客戶由於無法與其他使用者特徵進行比對，因此無法產生有效推薦結果；另外，面對資料稀疏性的解決方案以及演算法可擴充套件性較差上的問題，協同過濾仍然存在改進空間。

關聯規則

關聯規則（Association Rules）本書已經不止一次提到過，關聯規則可以廣泛應用到使用者的瀏覽、搜尋、購買、產品等推薦場景。
關聯規則技術成熟且推薦結果較為直觀，可以發現使用者的長尾需求並進行推薦，尤其在銷售領域應用廣泛；但如果產品、內容或推薦專案存在同義性將無法產生準確結果，另外資料抽取規則複雜且耗時，無法應用實時個性化推薦場景。

基於內容的推薦

基於內容的推薦（Content-based Recommendations）很大程度上是在進行文字、影象等內容的挖掘。基於內容的推薦通過分析內容提煉出特徵，然後通過使用者對特徵的反饋來學習使用者喜好特徵，最後將具有其他類似特徵的內容推薦給使用者。
基於內容的推薦可以對使用者興趣很好地建模，並通過對物品屬性維度的增加，獲得更好的推薦精度。但是，當物品的屬性有限時，將很難得到更多資料，而當物品屬性過多時，對於如何分配屬性間的權重並更快得到推薦結果該演算法仍然存在問題；另外，演算法本身只考慮到物品相似度的做法存在一定的片面性；對新使用者冷啟動時無任何喜好特徵的場景仍然沒有有效解決方法。

社會網路演算法

基於社會網路的推薦演算法是通過收集使用者在社交網路上的屬性（人口社會屬性）、標籤（喜好、興趣、類別）、地理位置、行為（原創、活動參與、轉發、評論、分享、點贊、收藏）、社交關係（圈子、粉絲和關注、Follow、信任、拉黑、重點關注）等進行挖掘分析，找到使用者興趣點並個性化推薦。今日頭條新聞推薦、新浪微博的關注推薦都是基於這種模型進行的。
這種推薦方法本質上是基於使用者的推薦，社交網路資料具有動態性強、時間推移規律明顯、演算法過於複雜及耗時較長等特徵，該演算法應用的侷限性較為明顯。

組合推薦演算法

通過以上演算法分析可以看出，每種演算法都有獨特優勢和不足，通過組合不同演算法可以避免或彌補各種推薦技術的弱點，常用的組合方法包括：

加權處理。採用多種推薦技術運算並根據權重加權得出總評分，並以此得出推薦結果。
變換場景。不同的場景採用不同的推薦演算法，如針對新使用者基於內容推薦、針對老使用者使用協同過濾推薦。
混合展示。在得出推薦結果時，分別取出每種推薦結果的前幾個專案組合到一起向用戶展示。
迭代計算。在使用一種推薦演算法得出結果後，再採用其他演算法在此技術上進行二次或多次運算。

個性化運營相關係統

內容管理系統：在內容管理系統中單獨設定個性化推薦區域，並將個性化推薦系統的結果通過該區域展示，目的是提高使用者體驗及內容匹配度。
客戶管理系統：通過將客戶管理系統與個性化推薦系統打通，將已經登入使用者的個性化系統與客戶管理系統資訊整合，並通過特定接觸點形成使用者精準營銷和個性化資訊的站內、外推送，以此提高使用者忠誠度、訪問黏性並最終提高使用者轉化和訂單效果。
站外廣告投放系統：通過將個性化推薦系統與站外廣告投放系統結合，將使用者喜好資料與廣告投放資料進行關聯，針對不同使用者在不同平臺的行為做個性化廣告投放，提高廣告點選率、網站訪問深度和最終轉化率，同時還能降低營銷成本，提高ROI。
活動營銷系統：與內容管理系統相似，在活動營銷系統中單獨建立個性化資訊模組，通過使用者對不同活動的反饋來提高活動推送的精準度，最終提高活動促銷及宣傳效果。
郵件系統：將個性化推薦系統與郵件系統打通後，在對使用者的郵件推送過程中加入使用者喜好、群體喜好內容，提高郵件開啟率、點選率以及到達網站後的轉化和重複購買效果。
簡訊平臺：通過打通個性化推薦系統與簡訊平臺，在對使用者資訊推送時，通過個性化和針對性的資訊標籤進行使用者提醒，進而提高使用者關懷、資訊推送的反饋效果。

冷啟動問題

利用使用者在其他地方已經沉澱的資料進行冷啟動。在騰訊等大公司的產品，確實是可以通過各大產品打通的日誌系統，提取使用者的行為特徵去確定使用者是個什麼樣的人。比如現在QQ音樂的猜你喜歡電臺想要去猜測還沒有用過QQ音樂使用者的口味偏好，一大優勢在於可以利用其他騰訊平臺的資料，比如在QQ空間關注了誰，在騰訊微博關注了誰，這些都可以作為推薦系統的冷啟動資料，甚至進一步，比如在騰訊視訊剛看了一部很火的動漫，如果在QQ音樂推薦了一首這個動漫的主題曲，你是否會覺得很驚喜呢？=P 所以，在這方面可以做的嘗試，就是獲取使用者在其他平臺已有的資料。題主擔心的是一個初創網站或app使用者註冊前還沒有他的資料表現，不妨嘗試將註冊路徑改為用新浪/QQ/微信等社交平臺登入，一方面可以降低使用者註冊成本提高轉化率，一方面可以同時獲得使用者的社交資訊，從而獲得推薦系統的冷啟動資料。舉個大家都應該知道的產品——“今日頭條”，號稱5秒鐘知道你的興趣偏好，其實也是在使用者登入新浪等社交平臺後，獲取使用者的關注列表，以及爬取使用者最近參與互動的feed（轉發/評論/贊）進行語義分析，從而獲取使用者的偏好。這種方法無論公司或平臺大小，其實都可以嘗試，會比盲目的熱門推薦效果會好。
利用使用者的手機等興趣偏好進行冷啟動。Android手機開放度較高，因此對於各大廠商來說多了很多瞭解使用者的機會，就是——使用者除了安裝的應用之外，還安裝了其他什麼應用。舉個例子，當一個使用者安裝了美麗說，蘑菇街，辣媽幫，大姨媽等應用，是否就是基本判定該手機使用者是個女性，且更加可以細分的知道是在備孕還是少女，而安裝了rosi寫真，1024客戶端帶有屌絲氣質的應用則可以鎖定使用者是個屌絲，此時對於應用方來說，是一個非常珍貴的資源。比如一個新聞應用如今日頭條，拿到了這些使用者安裝應用的資料，使用者首次安裝就可以獲得相對精準的推薦，不明真相的使用者還會暗讚我靠這應用這麼符合我口味！目前讀取使用者安裝的應用不僅是APP應用商店的標配，新聞類，視訊類做資料推薦的應用也有一些開始讀取這塊的資料，這個對於冷啟動是相當有幫助的。當然，這種資料也要為使用者做好保密和資料加密。另外如豌豆莢鎖屏，360衛士app更是做了檢測使用者每天開啟應用的頻率等等，這種相比只瞭解使用者安裝什麼應用，對使用者的近期行為畫像會更為精準。
製造選項，讓使用者選擇自己感興趣的點後，即時生成粗粒度的推薦。相對前面兩個來說，路徑不夠自然，使用者體驗相對較差，但是給予足夠好的設計，還是能吸引使用者去選擇自己感興趣的點，提升轉化率。比如網易雲音樂的私人FM，由於沒有其他使用者行為資料，做口味測試則變得很重要了。而簡單幽默的文案引導加上簡單的幾個選擇，也不失為一個好的冷啟動方法。

參考：

《python資料分析與資料化運營》宋天龍