1. 程式人生 > >大資料DMP畫像系統

大資料DMP畫像系統

內容介紹

一、目標 1、掌握畫像標籤開發技巧 2、掌握資料探勘技巧 3、瞭解業內畫像和DMP系統的架構和開發 4、大資料結合業務場景落地 在這裡插入圖片描述 在這裡插入圖片描述 在這裡插入圖片描述 在這裡插入圖片描述 系統開發要求 涉及的技術要點:spark 、elasticsearch、hadoop 、hive 、LR GBDT等機器學習演算法 開發工具:idea、eclipse 開發環境:spark2.2、hadoop2.7、hive1.2、hbase、redis 開發語言:scala、java、python、shell、sql

三、課程目錄 課程一覽 1、使用者畫像概述 什麼是使用者畫像,為什麼要使用者畫像,畫像的場景應用 業內,facebook,阿里巴巴(達摩盤),騰訊(廣點通)分析 打造自己的內部達摩盤,基本功能跟達摩盤一致

2、畫像指標整理 2-1.基礎屬性。人的基礎屬性標籤,包括地域、年齡、性別等。 2-2.興趣偏好。這部分是投放端已有的定向能力,後期可規劃更細的基於寶貝、店鋪或行業的搜尋選擇,特定興趣的定向功 能。 2-3.行為軌跡。基於興趣偏好更細的行為(包括瀏覽、點選、成交、收藏、復購等),及不同時間段的行為交叉(包括1天、7天、30天的行為)。 2-4.消費能力。基於平臺的支付交易,購物行為、交易額計算高中低,及類目上的高消費偏好。 2-5.好友關係。基於平臺的關係鏈資料,推薦偏好該寶貝、店鋪、行業的好友使用者。 2-6.自定義人群。支援上傳自定義人群包,lookalike擴充套件包的大小。

3、 畫像標籤體系建設和開發

3-1)基本屬性 地域、年齡、性別、學歷、職業 3- 2)興趣偏好 品牌、 店鋪、一級類目、場景、行業 3-3)消費能力 能力等級開發 3-4)特徵人群 劃分一些特定的人群,高活躍,低活躍,有車一族,奶爸一家 3-5)LBS屬性 長居住地 3-6)使用者軌跡 交易、瀏覽,收藏等

四、畫像系統架構 功能:畫像多維度分析、畫像指標下鑽分析、投放效果追蹤分析 技術:基於es 、spark、hadoop 建設畫像計算,以及資料儲存和計算 模組:使用者人群包(交集並集)、追蹤分析、人群畫像、人群對比模組開發

五、畫像系統應用案例 使用者精準營銷 使用者商品推薦

六、大資料面試技巧 hadoop、hive、spark常見面試問題以及解答