1. 程式人生 > >AI產品經理需要懂的演算法和模型

AI產品經理需要懂的演算法和模型

原文連結

本篇希望以精準推薦模型為案例通過全面的撰寫將AI產品經理需要懂的演算法和模型進行了系統的入門講解。

一個產品經理經常疑惑的概念:演算法和模型的關係,產品經理懂得解決問題時將問題抽象為模型,對模型求解用演算法,沒有誰大誰小,演算法和模型沒有絕對的分界線。

這篇將主要從時下各種演算法模型用於精準推薦都有其各自的優點和缺點帶出我自創的精準推薦模型AI-UTAUT模型和例項解析,
順道講解從演算法模型功能的相似性的角度為入門AI產品經理的同學講解演算法模型的另外一個維度。

一、傳統的UTAUT推薦模型
什麼叫UTAUT,傳統上UTAUT指的是整合型科技接受模式,即通過這個模型各個因子來觀察精準推薦模型中使用者的接受意願。

整合技術接受與使用模型(Unified theory of Acceptance and Use of Technology,簡稱UTAUT)是由 Venkatesh and Davis 文卡塔什和戴維斯
整合了技術適配模型(Task techfit,TTF)、理性行為理論(Theory of Reasoned Action,TRA)、計劃行為理論(Throry of Planned Behavior,TPB)、
創新擴散理論(InnovationDiffusionTheory,IDT)、社會認知理論(SocialCongnitive Theory,SCT)、PC利用模型(Model of PCU tilization,MPCU)、
複合 TAM&TPB模型(Combined TAM and TPB,C&TAM&TPB)、動機模型(Motivational model,MM),提煉出了四個核心變數和四個控制變數。

四個核心變數是:努力期望(Effort Expectancy)、績效期望(PerformanceExpectancy)、社會影響(Social influence)和便利條件(Facilitating Condition)。
四個控制變數是:年齡、性別、經驗和自願性。

在許多大廠的產品經理中經常採用UTAUT模型來做精準推薦模型因子分析。

因為每一個網路使用者的生活軌跡都被網際網路忠實地記錄著,網路服務商抓取與挖掘了這些軌跡,形成“資料痕跡”,堪稱“大資料”。

根據這些大資料,產品運營可以對消費者的興趣愛好、購買行為進行科學的分析和預測,透過大資料找到商業價值,從而向消費者進行精準定向推薦。
雖然產品運營利用大資料實施精準推薦後,大幅提升了營銷效果,改變了企業“知曉浪費了50%的廣告費,卻不知曉哪50%被浪費”的尷尬局面,
但運營的精準推薦不僅給使用者帶來了“確實想要的東西”,也帶來了垃圾資訊、無用資訊,既給使用者帶來了便利又造成了困擾。

因此,產品運營用大資料精準推薦資訊推送的結果是,並不是所有接觸到精準推薦資訊的使用者都會接受並採取購買產品的行動。
消費者對大資料精準推薦的接受意願的影響因素有哪些?UTAUT模型回答了一部分,但是也不充足。

原來的UTAUT模型在時下的產品運營需求中問題如下:
其一,UTAUT模型對便利條件依賴佔據1/4這是無必要的,
因為產品運營用大資料精準推薦是通過手機簡訊、電子郵件廣告、搜尋引擎、個性化引擎推薦、入口網站、微信、微博、競價排名搜尋、關鍵詞搜尋廣告、點告、窄告等工具向消費者
進行精準資訊推送的,而當今社會,智慧手機和 PC機已經進入千家萬戶,所以消費者可以藉助智慧手機和 PC機接收企業向自己推送的精準營銷資訊,便利性不存在問題。

其二,過於依賴年齡結構因素,我國網民的年齡結構依然偏向年輕,以10~39歲群體為主,佔整體的72.1%。因此,產品的大資料精準營銷的主要物件以年輕人為主。

其三,給予性別因子的比重過高,在我的新AI-UTAUT模型中是權重降低的,原因是由於產品運營大資料精準推薦的特點是在合適的時間、合適的地點,憑藉合適的媒介,
通過合適的渠道,將合適的商品銷售給合適的消費者,因此,只要企業大資料推送的資訊是精準的,無論男女,皆能接受。

二、創新的AI-UTAUT模型-以AI新零售企業為例
先介紹一下投資的這家企業的產品形態,這家企業有線下部分職能零售店,也有線上部分軟體產品包含,小程式APP、ERP、CRM等系統產品。
特別介紹一下這家產品的場景是在地鐵和地鐵站附近的大型ShoppingMall。使用者主要是居住工作在城市的白領為主。

精準推薦的目標是:用自有的使用者為基礎資料訓練演算法模型,這個模型是當用戶到達某個興趣點位附近時可以精準為其希望搜尋到的品牌恰巧運用系統推薦使用者感興趣的品牌,
這個模型暫時命名為AILBA。

1. 模型構建
利用AI技術整合UTAUT模型與4C理論的接受意願影響因素模型,雖然UTAUT模型被普遍地應用於技術接受因素的研究,但對於大多數實際情況下———使用者對大資料精準推薦的接受意願
的影響因素,其不僅受模型中因素的影響,還受消費者需求是否得以滿足的影響。

因此,在模型設計過程中,我為所投資的企業產品搭建了AI技術為引擎以UTAUT模型為框架,結合4C理論,加以修改,構建整合了AI-UTAUT模型以期待該模型精準的為使用者
推薦符合消費者需求的產品。

2. 模型解釋
該模型主要工作站是推薦引擎和人工規則,推薦引擎中所用的演算法將在下一個段落根據演算法的功能相似性一節裡面細講。

場景資料是指使用者所處的環境例如使用者剛剛下地鐵,使用者剛剛在某個購物中心某家店有過消費過某個商品A,根據上篇講述的交叉關聯銷售可以為使用者推薦關聯商品B。

使用者畫像人人都在說,使用者畫像貴在準。
廣義上,” 使用者畫像 ” 指的是企業從各個渠道收集使用者資訊,再根據所獲資訊對使用者進行人格化分析,包括人口屬性、興趣愛好、購物偏好、社交屬性等等,
為每一位使用者打上專屬標籤。

使用者畫像的分析維度:
其一、人口屬性:
地域、年齡、性別、文化、職業、收入、生活習慣、消費習慣等;

其二、產品行為:
產品類別、活躍頻率、停留時間、問題諮詢、產品喜好、產品驅動、使用習慣、產品消費等;

使用者畫像對精準推薦的好處,隨著移動網際網路的發展,各類手機應用的頻繁使用,使用者的時間越來越趨於碎片化,各維度的資訊也更豐富,
移動應用開發者們也從以技術為中心的產品設計漸漸轉向了以使用者為中心。

對使用者的精準畫像,一方面可以很好地描述使用者的許多特徵,有助於產品人員展開針對性的設計產品;
另一方面,對運營人員開展精準化營銷、個性化推薦也起到了至關重要的作用。

如今,”使用者畫像”被越來越多的談及,它是產品經理、運營者們津津樂道的寶貝。
作為銷售員們喜愛的一款工具,我們來看看我所投資企業人工智慧推薦引擎是如何進行使用者畫像,幫助企業實現精準營銷的。

企業管理者或銷售人員藉助我搭建的AI-UTAUT模型,便能夠實時獲取客戶的資訊和行為軌跡,包括他們的基本特徵、聯絡方式,他們瀏覽過哪個頁面,
他們喜歡點選、分享怎樣的內容,他們會諮詢什麼樣的問題。

AI-UTAUT模型還能實時把客戶的行為與銷售員進行關聯,例如一旦監測到客戶點選小程式中的任何頁面,即會通知銷售人員,幫助銷售獲取潛在客戶,實現標籤化管理。
銷售員還可以與客戶發微信訊息,而且無需加好友、不用跳轉,即可隨心實現。

根據客戶的行為分析,AI-UTAUT模型運用獨特的人工智慧演算法,可以自動生成成交機率預測,以漏斗圖的形式,把客戶按照成功率由高往低排,讓銷售員一眼便能知道誰才是潛在使用者,
避免銷售人員多做無用功。

例如,某汽車4S店銷售員小王週一上午到達公司後,第一件事就是開啟自己的微信,這時他看到AI-UTAUT模型助理已經推送了幾十條銷售線索。

當他點開”客戶”,可以檢視AI所分析的預計成功率,並且系統已經自動按成功率高低排出客戶的優先順序。

這時系統顯示一位叫阿蓮的女士的預計成交率在85%,她留言詢問某款SUV是否有更緊湊的型號,小王立馬進行回覆。5分鐘後,他的手機鈴聲響起,來電顯示正是阿蓮。
短短5分鐘,一筆20萬以上的業務就被敲定了。

此外,使用者畫像除了在溝通和識別客戶方面有幫助外,還能對維繫老客戶和促進二次轉化,發揮更多價值。

例如,我們還可以在AI-UTAUT後臺選取一批使用者的某些屬性,做一些預測功能,例如預測使用者是否會流失;或者預測使用者是否會對新上線的功能感興趣。
對應的,預測出很可能會流失的使用者,針對性進行挽留的營銷活動,比如發紅包、發優惠券等。針對會對新功能感興趣的使用者,可以給其推送新功能,來增加使用者的粘性。

我所搭建的AI-UTAUT模型在所投資的這家正好解決了原來商家的優惠券使用率低、使用者粘性低的問題。

綜合來看AI-UTAUT模型不僅僅幫我所投資的這家企業的銷售額提升,同時這套模型演算法也為周邊的商家進行了賦能。
例如上文中所舉的例子賦能4S點銷售人員更好的服務客戶的例子。

三、AI-UTAUT模型深度解析
1. 模型中的績效期望因素
績效期望正向影響消費者接受企業大資料精準推薦意願,因為消費者接受企業大資料精準推薦的資訊有可能提高其資訊搜尋的效率。

企業要推送切實滿足消費者需求的資訊,企業就必須做好消費者畫像的識別工作,完善資料分析推薦模型,及時根據消費者多元、動態、
不可持續的需求進行資料推薦模型的完善和修正,做好消費者畫像特徵分析工作,保證向消費者推送的資訊是消費者需求的,真真正正地提高消費者資訊搜尋的效率。

2. 模型中的基於消費者需求和期望的資訊方面
基於消費者需求和期望的資訊正向影響消費者接受企業大資料精準推薦意願,因為基於消費者需求和期望的資訊是適當的、準確的、有質量的資訊。

企業要根據消費者經瀏覽、訪問、購買形成的各式大資料進行細緻分析,洞察消費者的顯性需求和潛在需求,做好消費者產品喜好、心理接受價位、產品品牌等資訊的預測,
及時地以合適的方式,在合適的時間,將合適的產品資訊推送給消費者,提高消費者和產品的匹配度,提高消費者轉化率。

3. 模型中線上及時溝通方面
線上溝通正向影響消費者接受企業大資料精準營銷意願,因為線上溝通能縮短消費者與企業人員的溝通距離,在避免向消費者單向推銷,令消費者反感的同時,
還可以讓消費者互相瞭解購後感受,降低資訊不對稱給消費者帶來的負面影響的概率。

企業要搭建營銷全過程的消費者參與互動平臺。企業可通過微博、微信與消費者進行互動,也可通過設定商品評價區、討論區讓消費者留言,
在及時瞭解消費者對企業產品或服務評價的同時,也可為企業產品或服務營造良好的口碑。

當然,消費者對企業的產品或服務不滿意時,也可通過互動平臺及時反饋,企業也可及時處理,降低不良口碑對企業的影響。

企業還可鼓勵喜歡購後分享、有公眾影響力的消費者進行分享,以期帶動其他消費者選擇企業的產品或服務。

我利用AI-UTAUT模型所賦能的地鐵新零售企業旗下的一類是智慧販售機,我建議廠家在機器上安裝一鍵線上溝通功能,就是為了上述原因。

企業在開展精準推薦的過程中,若企業人員能與消費者進行溝通,就可將單向促銷轉換為“互動、雙贏、關聯關係”的溝通,最大化地縮短了企業和消費者間的溝通距離,
避免一味地向消費者進行單向推銷,在無法觸及消費者需求點的情況下,使消費者產生反感、抵觸的情緒。

當然,企業開展的大資料精準推薦並不是一次性的活動,而是一個迴圈往復的過程,企業人員在與消費者周而復始的溝通中能不斷地收集消費者的資訊,
對自身的精準推薦模型演算法不斷調整和優化,進而提升消費者接受企業大資料精準推薦的意願,提升對企業產品或服務的購買意願。

四、設計AI-UTAUT模型時所研究過的演算法模型
這篇中我們將按功能相似性講解演算法模型,這裡所講解的模型演算法是我在創造AI-UTAUT模型過程中多數檢驗過的。
所以在講解演算法模型的時候會總結哪些演算法模型用在哪個場景比較多,哪些演算法模型是AI產品經理經常會遇到的。

由功能的相似性分組的演算法模型如下:
機器學習演算法通常根據其功能的相似性進行分組。例如,基於樹的方法以及神經網路的方法。但是,仍有演算法可以輕鬆適應多個類別。
如學習向量量化,這是一個神經網路方法和基於例項的方法。

在讀者閱讀本段文字的時候如果有些屬於不太熟悉,或者有些模型演算法聽到的比較少請不用擔心,一方面可能是這類演算法模型以後也很好用,
如果需要用到的話,到時候再針對性的學習這類演算法模型也不遲。另外一方面我會盡量指明這些演算法應用的場景。

1. 迴歸演算法
迴歸演算法涉及對變數之間的關係進行建模,我們在使用模型進行的預測中產生的錯誤度量來改進。這些方法是資料統計的主力,所以迴歸演算法又稱為迴歸分析。
此外,它們也已被選入統計機器學習。

常用的的迴歸演算法是:
普通最小二乘迴歸(OLSR);
線性迴歸;
Logistic迴歸;
逐步迴歸;
多元自適應迴歸樣條(MARS);
區域性估計的散點圖平滑(LOESS);

用途場景:預測未來,預測銷量等等。
例子:如下圖:當一天中早高峰或者晚高峰的時候實際上是商場裡面的品牌商銷量減少的時候,這一點可以通過我的AI-UTAUT模型資料實證。

2. 基於例項的演算法
該類演算法是解決例項訓練資料的決策問題。這些方法構建了示例資料的資料庫,它需要將新資料與資料庫進行比較。
為了比較,我們使用相似性度量來找到最佳匹配並進行預測。出於這個原因,基於例項的方法也稱為贏者通吃方法和基於記憶的學習,重點放在儲存例項的表示上。
因此,在例項之間使用相似性度量。

常用的基於例項的演算法是:
k-最近鄰(kNN);
學習向量量化(LVQ);
自組織特徵對映(SOM);
本地加權學習(LWL);
正則化演算法;

用途場景:商品上新雙11前夕高達千萬級。因為第三方POP商品上新沒有人工稽核環節,商會有意、無意地將商品釋出到錯誤類目,更有甚者,
部分商家採用批量上新和批量搬家工具,導致大規模錯掛商品的出現,不斷衝擊著商品生態防線,影響使用者購物體驗,並帶來了諸如食品、藥品和成人用品等相關的一系列監管風險。

面對海量級的商品資料和高達上千個類目的商品層級分類體系,如何才能有效判別商品類目掛靠的正確與否,實現全方位和高效的監控。
在商品類目預測這個問題上,很多電商公司在過去的10年裡一直在不斷探索和改進,公開資料顯示,電商巨頭eBay先後採用了傳統的規則和統計等模型、
如KNN、KNN+SLM和DNN幾種方法,準確率從最初的50%一步步提高到了90%+。

3. 決策樹演算法
決策樹方法用於構建決策模型,這是基於資料屬性的實際值。
決策在樹結構中進行分叉,直到對給定記錄做出預測決定。決策樹通常快速準確,這也是機器學習從業者的最愛的演算法。

常用的的決策樹演算法是:
分類和迴歸樹(CART);
迭代Dichotomiser 3(ID3);
C4.5和C5.0;
卡方自動互動檢測(CHAID);
決策樹樁;
M5;
條件決策樹;

用途場景:有一個經典的案例判斷一個西瓜是否是好瓜就是典型的決策樹演算法模型的應用。

上圖說明:
有一個最直觀的解釋,如果你吃的大部分的好瓜紋理都很清晰,那麼你肯定首先去判斷面前的瓜紋理是不是清晰,如果不清晰那極有可能不是好瓜。
但是還有一個問題,好瓜大都紋理清晰,但並不是所有紋理清晰的瓜都是好瓜,你需要繼續根據其他特徵去判斷。

假設你面前的瓜紋理清晰,那麼你回去想你吃過的紋理清晰的好瓜中,還有什麼讓你印象深刻的特徵?對了,你想起來根蒂蜷縮的紋理清晰的瓜是大都是好瓜。
上面我們講過了怎麼判斷一個瓜是好瓜。如果讓計算機去學習如何判斷好瓜,那麼我們需要給它很多的樣例。
這些樣例資料中,有好瓜有壞瓜,每個樣例都給出了瓜的紋理、根蒂、色澤、觸感、敲聲等等特徵。
有了樣例資料,計算機如何得到一個像人類判斷過程中的那種順序判斷的思路呢?
答案就是決策樹。

4. 貝葉斯演算法
這些方法適用於貝葉斯定理的問題,如分類和迴歸。

常用的貝葉斯演算法是:
樸素貝葉斯;
高斯樸素貝葉斯;
多項樸素貝葉斯;
平均一依賴估計量(AODE);
貝葉斯信念網路(BBN);
貝葉斯網路(BN);

用途場景:例如判斷網路環境是否異常,使用無監督學習獲得每個裝置、每個人員的網路行為模式,結合行為分析與高等數學,
運用遞迴貝葉斯估計(Recursive Bayesian Estimation,RBE)理論,提供對事件的估計概率並隨著新特徵的發現不斷更新,自動判斷網路行為是否存在異常。

5. 聚類演算法
幾乎所有的聚類演算法都涉及使用資料中的固有結構,這需要將資料最佳地組織成最大共性的組。

常用的聚類演算法是:
K-均值;
K-平均;
期望最大化(EM);
分層聚類;

用途場景:在用機器做聚類學習的時候,我們每種演算法都對應有相應的計算原則,可以把輸入的各種看上去彼此“相近”的向量分在一個群組中。
然後下一步,人們通常更有針對性地去研究每一組聚在一起的物件所擁有的共性以及那些遠離各個群組的孤立點——
這種孤立點研究在刑偵、特殊疾病排查和使用者群體劃分等方面都有應用。

6. 關聯規則學習演算法
關聯規則學習方法提取規則,它可以完美的解釋資料中變數之間的關係。這些規則可以在大型多維資料集中被發現是非常重要的。

常用的關聯規則學習演算法是:
Apriori演算法;
Eclat演算法;
用途場景:在《 AI產品經理從懂精準推薦模型到產品創新》上篇中講述比較多,感興趣的讀者可以翻閱。

7. 人工神經網路演算法
這些演算法模型大多受到生物神經網路結構的啟發。它們可以是一類模式匹配,可以被用於迴歸和分類問題。它擁有一個巨大的子領域,因為它擁有數百種演算法和變體。

常用的人工神經網路演算法是:
感知機;
反向傳播;
Hopfield神經網路;
徑向基函式神經網路(RBFN);

用途場景:使用神經網路演算法從使用者的自拍中完成人臉識別,並自動摳出輪廓,並根據本地演算法,將自拍快速轉變為動畫風格或其它自定義風格的表情包。
8. 深度學習演算法
深度學習演算法是人工神經網路的更新,同時深度學習演算法也是機器學習的典型代表演算法。他們更關心構建更大更復雜的神經網路。

常用的深度學習演算法是:
深玻爾茲曼機(DBM);
深信仰網路(DBN);
卷積神經網路(CNN);
堆疊式自動編碼器;

用途場景:非常多,有醫療影像識別、食品配料識別,人臉識別等等。

9. 常用機器學習演算法列表
樸素貝葉斯分類器機器學習演算法

應用場景:通常,網頁、文件和電子郵件進行分類將是困難且不可能的。
這就是樸素貝葉斯分類器機器學習演算法的用武之地。分類器其實是一個分配總體元素值的函式。

例如,垃圾郵件過濾是樸素貝葉斯演算法的一種流行應用。因此,垃圾郵件過濾器是一種分類器,可為所有電子郵件分配標籤“垃圾郵件”或“非垃圾郵件”。
基本上,它是按照相似性分組的最流行的學習方法之一。這適用於流行的貝葉斯概率定理。

K-means:聚類機器學習演算法
通常,K-means是用於聚類分析的無監督機器學習演算法。此外,K-Means是一種非確定性和迭代方法,該演算法通過預定數量的簇k對給定資料集進行操作。
因此,K-Means演算法的輸出是具有在簇之間分離的輸入資料的k個簇。

支援向量機學習演算法
基本上,它是用於分類或迴歸問題的監督機器學習演算法。SVM從資料集學習,這樣SVM就可以對任何新資料進行分類。
此外,它的工作原理是通過查詢將資料分類到不同的類中。我們用它來將訓練資料集分成幾類。而且,有許多這樣的線性超平面,
SVM試圖最大化各種類之間的距離,這被稱為邊際最大化。SVM分為兩類:線性SVM:線上性SVM中,訓練資料必須通過超平面分離分類器。
非線性SVM:在非線性SVM中,不可能使用超平面分離訓練資料。

Apriori機器學習演算法
這是一種無監督的機器學習演算法。我們用來從給定的資料集生成關聯規則。關聯規則意味著如果發生專案A,則專案B也以一定概率發生,生成的大多數關聯規則都是IF_THEN格式。

應用場景:例如,如果人們購買iPad,那麼他們也會購買iPad保護套來保護它。Apriori機器學習演算法工作的基本原理:如果專案集頻繁出現,則專案集的所有子集也經常出現。

線性迴歸機器學習演算法
它顯示了2個變數之間的關係,它顯示了一個變數的變化如何影響另一個變數。

決策樹機器學習演算法
決策樹是圖形表示,它利用分支方法來舉例說明決策的所有可能結果。在決策樹中,內部節點表示對屬性的測試。
因為樹的每個分支代表測試的結果,並且葉節點表示特定的類標籤,即在計算所有屬性後做出的決定。此外,我們必須通過從根節點到葉節點的路徑來表示分類。

隨機森林機器學習演算法
它是首選的機器學習演算法。我們使用套袋方法建立一堆具有隨機資料子集的決策樹。
我們必須在資料集的隨機樣本上多次訓練模型,因為我們需要從隨機森林演算法中獲得良好的預測效能。
此外,在這種整合學習方法中,我們必須組合所有決策樹的輸出,做出最後的預測。此外,我們通過輪詢每個決策樹的結果來推匯出最終預測。

Logistic迴歸機器學習演算法
這個演算法的名稱可能有點令人困惑,Logistic迴歸演算法用於分類任務而不是迴歸問題。此外,這裡的名稱“迴歸”意味著線性模型適合於特徵空間。
該演算法將邏輯函式應用於特徵的線性組合,這需要預測分類因變數的結果。
小結:
我搭建的AI-UTAUT精準推薦模型有Apriori演算法、神經網路演算法、迴歸演算法、聚類演算法、貝葉斯演算法,預測銷量的有迴歸演算法,
可以直接呼叫的有外面成熟的人臉識別演算法、語音識別演算法等。

產品經理日常工作中最常用的演算法是:Apriori演算法、聚類模型、決策模型、貝葉斯演算法、關聯規則演算法和深度學習、機器學習等。

五、AI產品經理入門標準和入門型別
AI產品經理入門前提條件主要是基於有哪些類別的企業,時下和未來的一段時間AI企業主要有:
第一類是純粹的AI技術企業,
第二類是+AI的企業,
第三類是綜合型企業AI作為助推器型的企業。

AI產品經理在第一類企業裡面做AI產品經理如果產品是AI演算法本身,即例如你要輸出的產品是人臉識別系統,這個時候需要AI產品經理對演算法懂的要深刻一些,
建議加入此類企業的產品朋友可以針對性的補充演算法知識。

如果在這類企業裡面從事的是AI+的工作,那麼主要的重點可以放在為這類AI系統找到適合的應用場景,並佔領市場先機,先研發出來可以落地的產品。

AI產品經理在第二類企業裡面更多的是基於行業經驗,看到行業內部可以被AI取代或者提升效率的點,+上AI。為行業賦能。

第三類綜合性企業主要是BAT/TMD等大型科技網路公司,也包含中國平安、招行銀行等國營企事業單位。
這類企業往往既有自己的核心演算法,同時有希望旗下細分業務+上AI。

建議加入此類公司或者單位的AI產品經理可以從資料型AI產品經理做起,因為我們都知道AI包含資料、演算法、算力,而大型企業核心需求是打通資料豎井,
將歷史上累計的大資料用好,用AI技術得到更好的運用,所以AI產品經理可以適當補充資料分析方面的知識。