本文共計927字，預計閱讀時長六分鐘

推薦演算法(一)--CB演算法

一、推薦的本質

推薦分為非個性化和個性化，非個性化推薦比如各類榜單，而本系列主要介紹個性化推薦，即：

在合適的場景，合適的時機，通過合適的渠道，把合適的內容，推薦給合適的使用者

二、推薦演算法的種類

1. 基於內容Content Based

2. 基於協同Collaboration Filtering

– User Based CF

– Item Based CF

三、CB演算法詳解

1. Content的內容

① 只引入Item屬性的Content Based推薦

優點：

a.提升推薦結果的相關性

b結果可解釋

c.推薦結果容易被使用者感知

缺點：

a.無個性化

b.依賴於對item的深入分析

② 引入Item和User屬性的Content Based推薦

在上一步的item提取特徵之後的基礎上，加上了使用者的一些行為資料。需要注意，行為資料也需要特徵化後才能和之前的item特徵放在一起進行分析，其中可能會涉及到一些one-hot編碼的問題，這裡不展開，需要了解的話，見：

優點：

a.使用者模型刻畫了使用者興趣需求

b.推薦形式多樣，具有個性化

c.結果可解釋

缺點：

a.推薦精度低

b.馬太效應

c.使用者行為稀疏，導致覆蓋率低

2. 需求舉例（僅基於item的特徵）：

使用者小明聽了一首歌，每首歌(item)的資料屬性包括編號(id)和內容(content)，如：

id content

id1 王錚亮時間都去哪了 《私人訂製》插曲

... ...

根據CB，向他推薦10首歌

3. 解決步驟和核心程式碼：

① 對歌曲庫中的每首歌content進行分詞，並用tf_idf賦值

+++jieba_score_udf.py+++

# coding=utf-8

import  sys

reload(sys)

sys.setdefaultencoding('utf-8')

import jieba.analyse

import jieba

import json

import re

#正則匹配中文

pattern = re.compile(u'[\u4e00-\u9fa5]')

#切詞，並用tf_idf賦值

for line in sys.stdin:

   cols = line.strip().split('\t')

   id = cols[0]

   words_list = jieba.analyse.extract_tags(cols[1],topK=10,withWeight=True)

for (word,score) in words_list:

if len(re.findall(pattern,word)) != 0:

print '%s\t%s\t%s' % (id,word,score)

大致得到（資料是隨便編的） t1

id word score  

id1 時間 0.1

id1 王錚亮 0.5

id1 私人 0.5

id2 時間 0.4

id2 煮 0.4

id2 雨 0.1

id3 私人 0.3

... ... ...

② 在hive中呼叫這個udf,得到倒排表

hive> add 'udfpath/jieba_score_udf.py'

hive> select

hive> word,collect_list(concat_ws(':',id,score)) as id_score_list

hive> from

hive> (select transform(id,desc) using 'python jieba_score_udf.py' as(id,word,score)

hive> from badou.musics sort by score desc

hive> ) t

hive> group by word;

大致得到（資料是隨便編的） t2

word id_score_list

王錚亮 [id1:0.5,...]

時間 [id2:0.4, id1:0.1...]

私人 [id1:0.5, id3:0.3,...]

... ...

③ 得到ids推薦列表

hive> select tt1.id,collect_list(concat_ws('_', tt2.id, nscore)) ids

hive> from

hive> (select tt1.id, tt2.id, sum(tt2.score) nscore

hive> from

hive>   (select tt1.id, tt2.id, tt2.score new_score

hive>     from

hive>       (select id, word from t1) tt1

hive>     join

hive>       (select word, id, score from t1) tt2

hive>     on tt1.word = tt2.word

hive>   ) tt3

hive> where tt1.id <> tt2.id

hive> group by tt1.id,tt2.id

hive> order by nscore desc) tt4;

大致得到（資料是隨便編的） t3

id ids

id1 [id2:0.5,...]

id2 [id1:0.5, id3:0.1...]

id3 [id2:0.5, id1:0.3,...]

... ...

④ 推薦

i) 如果小明聽的這首歌id在t3表中存在，那麼直接取出對應的ids即可

ii) 如果小明聽的這首歌id在t3表中不存在。

a. 需要線上對其content做分詞，得到一個word列表:(word1, word2, word3,...)

b. 在t1中找出對應的id分數，求和排序，取top10即可

hive> select id, sum(score) nscore

hive> from

hive> (select id, word, score from t1

hive> where word in (word1, word2, word3,...) tt

hive> group by id

hive> order by nscore desc

hive> limit  10;

或者在t2倒排表中選取對應的ids，解析後求和排序，結果都一樣，但可能會更快一點

相關推薦