機器學習演算法（推薦演算法）—協同過濾推薦演算法(2)
阿新 • • 發佈：2019-01-26
一、基於協同過濾的推薦系統
協同過濾(Collaborative Filtering)的推薦系統的原理是通過將使用者和其他使用者的資料進行比對來實現推薦的。比對的具體方法就是通過計算兩個使用者資料之間的相似性，通過相似性的計算來說明兩個使用者資料之間的相似程度。相似度函式的設計必須滿足度量空間的三點要求，即非負性，對稱性和三角不等性。常用的相似度的計算方法有：歐式距離法、皮爾遜相關係數法和夾角餘弦相似度法。具體的可以參見上一篇文章“協同過濾推薦演算法(1) ”。二、面臨的問題
在基本的協同過濾的推薦系統中(主要指上面所提到的基本模型中)，我們是在整個空間上計算相似度，進而實現推薦的。但是現實中的資料往往並不是那麼規整，普遍的現象就是在使用者資料中出現很多未評分項，如下面所示的資料：
對於這樣的稀疏矩陣，我們利用基本的協同過濾推薦演算法的效率必將很低。對於這樣的稀疏矩陣，我們可以利用SVD對其進行降維，將這樣的稀疏矩陣對映到另一個具體的主題空間，SVD降維的原理可以參見博文“SVD奇異值分解”。
三、利用SVD構造主題空間
我們對上面所示的這樣一個矩陣進行SVD分解，分解的結果為：1、U矩陣
（U矩陣，矩陣U主要反應的是使用者資訊）
2、對角陣S
（S矩陣，矩陣S主要反映的是11個奇異值）
3、VT矩陣
（VT矩陣，矩陣VT主要反映的是物品資訊）
4、選取奇異值並對映主題空間
奇異值分解公式為：即可得新的主題空間：
四、實驗的模擬
我們在這樣的資料集上做推薦計算。其中user為2號使用者。
（相似度的計算）
（推薦結果） MATLAB程式碼 主程式
- %% 主函式
- % 匯入資料
- %data = [4,4,0,2,2;4,0,0,3,3;4,0,0,1,1;1,1,1,2,0;2,2,2,0,0;1,1,1,0,0;5,5,5,0,0];
- data = [2,0,0,4,4,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0,0,5;0,0,0,0,0,0,0,1,0,4,0;3,3,4,0,3,0,0,2,2,0,0;5,5,5,0,0,0,0,0,0,0,0;
- 0,0,0,0,0,0,5,0,0,5,0;4,0,4,0,0,0,0,0,0,0,5;0,0,0,0,0,4,0,0,0,0,4;0,0,0,0,0,0,5,0,0,5,0;0,0,0,3,0,0,0,0,4,5,0;
- 1,1,2,1,1,2,1,0,4,5,0];
- % reccomendation
- %[sortScore, sortIndex] = recommend(data, 3, 'cosSim');
- [sortScore, sortIndex] = recommend(data, 2, 'cosSim');
- len = size(sortScore);
- finalRec = [sortIndex, sortScore];
- disp(finalRec);
SVD空間對映的函式
- function [ score ] = SVDEvaluate( data, user, simMeas, item )
- [m,n] = size(data);
- simTotal = 0;
- ratSimTotal = 0;
- % 奇異值分解
- [U S V] = svd(data);
- % 求使得保留90%能量的奇異值
- sizeN = 0;%記錄維數
- [m_1,n_1] = size(S);
- a = 0;%求總能量
- for i = 1:m_1
- a = a + S(i,i)*S(i,i);
- end
- b = a*0.9;%能量的90%
- c = 0;
- for i = 1:n_1
- c = c + S(i,i)*S(i,i);
- if c >= b
- sizeN = i;
- break;
- end
- end
- %物品降維後的空間
- itemTransformed = data' * U(:,1:sizeN) * S(1:sizeN,1:sizeN)^(-1);
- for j = 1:n
- userRating = data(user, j);%此使用者評價的商品
- if userRating == 0 || j == item%只是找到已評分的商品
- continue;
- end
- vectorA = itemTransformed(item,:);
- vectorB = itemTransformed(j,:);
- switch simMeas
- case {'cosSim'}
- similarity = cosSim(vectorA,vectorB);
- case {'ecludSim'}
- similarity = ecludSim(vectorA,vectorB);
- case {'pearsSim'}
- similarity = pearsSim(vectorA,vectorB);
- end
- disp(['the ', num2str(item), ' and ', num2str(j), ' similarity is ', num2str(similarity)]);
- simTotal = simTotal + similarity;
- ratSimTotal = ratSimTotal + similarity * userRating;
- end
- if simTotal == 0
- score = 0;
- else
- score = ratSimTotal./simTotal;
- end
- end
推薦的函式
- function [ sortScore, sortIndex ] = recommend( data, user, simMeas )
- % 獲取data的大小
- [m, n] = size(data);%m為使用者，n為商品
- if user > m
- disp('The user is not in the dataBase');
- end
- % 尋找使用者user未評分的商品
- unratedItem = zeros(1,n);
- numOfUnrated = 0;
- for j = 1:n
- if data(user, j) == 0
- unratedItem(1,j) = 1;%0表示已經評分，1表示未評分
- numOfUnrated = numOfUnrated + 1;
- end
- end
- if numOfUnrated == 0
- disp('the user has rated all items');
- end
- % 對未評分項打分，已達到推薦的作用
- itemScore = zeros(numOfUnrated,2);
- r = 0;
- for j = 1:n
- if unratedItem(1,j) == 1%找到未評分項
- r = r + 1;
- %score = evaluate(data, user, simMeas, j);
- score = SVDEvaluate(data, user, simMeas, j);
- itemScore(r,1) = j;
- itemScore(r,2) = score;
- end
- end
- %排序，按照分數的高低進行推薦
- [sortScore, sortIndex_1] = sort(itemScore(:,2),'descend');
- [numOfIndex,x] = size(sortIndex_1(:,1));
- sortIndex = zeros(numOfIndex,1);
- for m = 1:numOfIndex
- sortIndex(m,:) = itemScore(sortIndex_1(m,:),1);
- end
- end
相似度的計算與前文一致。