基於鄰域的協同過濾演算法（一）

兩個月前我開始學習機器學習，這兩個月期間學習了一些基礎的機器學習演算法及其Python實現。這周我剛開始學習《推薦系統實踐》這本書，並打算以後定期將自己的學習情況做個簡單的總結。這份總結是我這個部落格上的第一篇文章。這周的學習的主要內容是基於鄰域的協同過濾演算法。基於使用者行為分析的推薦演算法是個性化推薦系統的重要演算法，學術界一般將這種型別的演算法稱為協同過濾演算法。

協同過濾，從名字就可以看出這種方法的本質是先有協同（使用者齊心協力）再有過濾（每個使用者的推薦列表能夠過濾掉他不喜歡的物品）。對協同過濾演算法，學術屆提出了了很多種方法，比如基於鄰域的方法（neighborhood-based）、隱語義模型（laten factor model）、基於圖的隨機遊走演算法（random walk on graph）等。

基於鄰域的方法主要包括兩種演算法：基於使用者的協同過濾演算法（UserCF）和基於物品的協同過濾演算法（ItemCF）。

基於使用者的協同過濾演算法(UserCF)：

UserCF的本質就是我要給你推薦物品，我先找到與你興趣最相似的K個使用者，然後把他們喜歡的而你卻沒產生過行為的物品推薦給你。當然不是把所有的他們喜歡的且你沒產生過行為的都推薦給你，而是推薦你最感興趣的 N個產品。根據上面這些描述，我們看到使用 UserCF需要兩步：

找到與你興趣相似的K個使用者。
確定你最感興趣的N個物品？

在第一步中，我們需要去計算你與每個使用者的興趣相似度，然後按相似度降序排列，所對應的前K個使用者就是我們要找的。

對於使用者u和v我們可以通過如下的Jaccard公式來計算：
wuv=∣N(u)∩N(v)∣∣N(u)∪N(v)∣,

或者通過餘弦相似度計算：
wuv=∣N(u)∩N(v)∣∣N(u)∪N(v)∣√,
計算相似度的時候，為了減少時間複雜度，需要建立一個物品－使用者倒排表。因為當用戶數很大時，直接從資料集很費時間，很多時間浪費在了計算 ∣N(u)∪N(v)∣=0上。另外，兩個使用者對冷門物品採取過同樣的行為更能說明他們興趣的相似度。所以書中指出 John S. Breese 在論文中提出如下計算相似度的公式：

wuv=∑i∈N(u)∪N(v)1ln(1+∣N(i)∣)∣N(u)∣∣

N(v)∣‾‾‾‾‾‾‾‾‾‾‾‾‾√.
這個公式通過1ln(1+N(i)) 懲罰了使用者u和使用者v共同興趣列表中熱門物品對他們相似度的影響。
這裡用字典格式來儲存資料集和相似度，如：

train={'user1':['a', 'b', 'c'], 'user2':['a','b'],....,'userN':[...]}]
W={('user1', 'user2'): w12, ('user1', 'user3'): w13,.....}

下面是計算相似度的程式碼

def UserSimilarity2(train, flag=1):
    item_users = dict()  
    for u, item in train.items():
        for i in item:
            if i not in item_users:
                item_users[i] = set()  # 生成一個集合
            item_users[i].add(u)
    C = dict()  # C為分子
    N = dict()  # N[u]表示使用者u喜歡的物品個數
    ""
    #使用者數很大時計算C耗時
    for u in train.keys():
        for v in train.keys():
            if u==v:
                continue
            else:
                if len(set(train[u] ) & set(train[v]))!=0:
                    C[(u, v)]=len(set(train[u] ) & set(train[v]))
    for u in train.keys():
        N[u]=len(train[u])
    print C
    print N
    ""
    for item, users in item_users.items():

        for u in users:
            if u not in N:
                N[u] = 1  # 如果使用者u不在字典N裡面，先建立
            else:
                N[u] += 1
            for v in users:
                if u != v:
                    if flag == 0:  # 修正前
                        if (u, v) not in C:
                            C[(u, v)] = 1
                        else:
                            C[(u, v)] += 1
                    elif flag == 1: # 修正後
                        if (u, v) not in C:
                            C[(u, v)] = 1 / log(1 + len(users))
                        else:
                            C[(u, v)] += 1 / log(1 + len(users))
    W = dict()
    for uv in C.keys():
        # pdb.set_trace()
        u = uv[0]
        v = uv[1]
        if u not in W:
            W[u] = set()
        # 新增與使用者u相關的使用者v,第二個意思是他們的權重Wuv
        W[u].add((v, C[uv] / sqrt(N[u] * N[v])))
    return W

這個程式碼中 flag=0對應的是第一個沒有修正的相似度計算公式，flag=1對應的就是修正後的相似度計算公式。
計算出相似度後，下來要做的就是找出與你相似度高的前K個使用者，然後去把他們喜歡的你沒發生過行為的物品（記為Itemj）卻很感興趣的物品推薦給你。

第二步和第一步的思路差不多，定性問題定量化。計算你對Itemj的感興趣程度，然後降序排列，選出感興趣程度最高的前N個推薦給你。
這裡，感興趣程度是用下面的公式來度量的：

p(u,i)=∑v∈S(u,K)∩N(i)wuvrvi
S(u,K)就是那K個使用者的集合，N(i)是對物品i有過行為的使用者集合，wuv就不說了，rvi 是使用者v對i物品的興趣。簡單的說，v對i產生了行為rvi就是1，沒產生就是0，當然這裡的rvi只有這兩種值。

下面是實現推薦的程式碼：

def Recommend(user, train, W, N, K=10):
    rank = dict()
    interacted_items = train[user]
    for v, wuv in sorted(W[user], key=lambda x: x[1], reverse=True)[0:K]:  # 相似度最大的K個使用者
        for i in train[v]:  # v產生過行為的物品
            if i not in interacted_items:  
                if i not in rank:
                    rank[i] = wuv * 1
                else:
                    rank[i] += wuv * 1

    rank = sorted(rank.items(), key=lambda x: x[1], reverse=True)
    rank = rank[:N]
    return rank

這裡的K是一個很關鍵的引數，K的選取會影響最後的推薦結果。這本書中K對TopN推薦的好壞，是用這幾個指標來衡量的：準確率，召回率，覆蓋率和流行度。
記U為系統的使用者集合，R(u)為訓練集上得出的推薦列表， T(u)為測試集上的行為列表。
推薦結果的準確率可定義為：

Precision=∑u∈U|R(u)∩T(u)|∑u∈U|R(u)|
召回率被定義為
Recall=∑u∈U|R(u)∩T(u)|∑u∈U|T(u)|

def PrecisionRecall(train, test, N):
    hit = 0 #兩者的分子
    n_precision=0 # 準確率的分母
    n_recall = 0 #召回率的分母
    W = UserSimilarity2(train)
    for user in train.keys():
        try:  # 計算分子分母
            te_user_items = test[user]
            recomRank = Recommend(user, train, W, N)
            for recom_item, w in recomRank:
                if recom_item in te_user_items:
                    hit += 1
            n_precision += N
            n_recall+=len(te_user_items)
        except:
            pass
    return [hit / (1.0*n_precision), hit/(1.0*n_recall)]

覆蓋率的計算公式為：

Coverage=∪u∈UR(u)∣I∣
這裡I所有物品的集合。那麼覆蓋率就是推薦出去的物品佔總物品的比率，商家們會關心的指標。下面是計算覆蓋率的程式碼：

def Coverage(train, N):
    recommend_items = set() #分子
    all_items = set() #分母
    W = UserSimilarity2(train)
    for user in train.keys():
        for item in train[user]:
            all_items.add(item)
        rank = Recommend(user, train, W, N)
        for item in rank[0]:
            recommend_items.add(item)
    return len(recommend_items) / (len(all_items) * 1.0)

這本書上，目前看的這一章，我沒有看到流行度的具體定義，但從給的程式碼看，似乎平均流行度是這麼定義的：

基於鄰域的協同過濾演算法（一）

基於使用者的協同過濾演算法(UserCF)：

基於鄰域的協同過濾演算法（一）

《推薦系統實踐》——基於物品的協同過濾演算法（程式碼實現）

推薦系統實踐----基於使用者的協同過濾演算法（python程式碼實現書中案例）

基於Spark MLlib平臺和基於模型的協同過濾演算法的電影推薦系統（一）協同過濾演算法概述&&基於模型的協同過濾的演算法思想（演算法模型和結構待補充）

人工智慧演算法（一）—協同過濾演算法

基於使用者的協同過濾演算法實現的商品推薦系統

3、前奏之基於物品的協同過濾演算法：ItemsCF

基於使用者的協同過濾演算法

基於使用者的協同過濾演算法(Java實現或R語言實現

基於改進的協同過濾演算法的使用者評分預測模型

Mahout基於使用者的協同過濾演算法的例子

基於近鄰使用者協同過濾演算法的音樂推薦系統

推薦系統學習--基於item的協同過濾演算法及python實現

基於cnn的影象二分類演算法（一）

spark基於使用者的協同過濾演算法與坑點，提交job

點雲分割之基於邊界的分割演算法（一）

基於使用者的協同過濾演算法的電影推薦系統

初探推薦演算法：基於使用者的協同過濾演算法

影象配準】基於灰度的模板匹配演算法（一）：MAD、SAD、SSD、MSD、NCC、SSDA、SATD演算法

[推薦演算法]UserCF,基於使用者的協同過濾演算法

基於鄰域的協同過濾演算法（一）

基於使用者的協同過濾演算法(UserCF)：

相關推薦