繼前期完成廣義線性模型的線上流式機器學習的程式碼後，我們對spark的mllib中的推薦系統這一部分比較感興趣，因為推薦系統這一部分在現實生活中也非常實用，尤其是基於地理位置的線上推薦系統目前非常火熱，很多商業軟體如大眾點評，淘點點等都希望能根據使用者以往的一些行為和當前所處的地理位置給使用者做出最佳的推薦，給使用者帶來意想不到的驚喜。

    在推薦系統領域，目前市面上中文的參考書並不多，我們主要學習了目前就職於hulu公司的項亮編著的《推薦系統實戰》這本書，這本書詳細的介紹了推薦系統方面的一些典型演算法和評估方法，並且結合作者的實際經驗給出了很多推薦系統的相關例項，是學習推薦系統不可多得的一本好書，我們也受益匪淺。

    在spark的例程中作者是根據movielens資料庫(採用spark自帶的小型movielens資料庫在spark的data/mllib/sample_movielens_data.txt中)通過ALS(alternating leastsquares)演算法來做的推薦系統。參考連結

    最初我們也是用上面所說的1500個的資料集進行線上ALS演算法的有效性，效果還不錯，後面我們採用中等規模的movielens資料集進行測試，取得比較好的效果，具體過程記錄如下。資料集的連結如下。

    這種ALS演算法不像基於使用者或者基於物品的協同過濾演算法一樣，通過計算相似度來進行評分預測和推薦，而是通過矩陣分解的方法來進行預測使用者對電影的評分。即如下圖所示。

    已知的使用者對電影的評分的資料如下圖所示。

    第一項表示使用者的ID號，第二項表示電影的ID號，第三項表示使用者對電影評分的分值。

    因此可以通過資料集中的資料構建使用者評分矩陣，但是往往使用者的評分不會填滿所有的矩陣，因此就需要通過矩陣分解的方法，將矩陣X分解為A*B，也即儘量滿足X=AB這個等式。ALS演算法中，通過首先隨機化矩陣A，然後通過目標函式求得B，再對B進行歸一化處理後，再去求A，不斷地迭代下去，直到A*B滿足一定的收斂條件為止。

    在我們的線上推薦系統中，我們借用spark的ALS演算法的訓練和預測函式，每次收到新的資料後，將其更新到訓練資料集中，然後更新ALS訓練得到的模型，然後對整個movielens資料集進行評分預測計算RMSE，來看RMSE的收斂情況來推斷演算法的訓練效果。（注：由於水平有限，我們發現更改spark的ALS的訓練模型為線上訓練模型比較困難，也即在接收到新的資料後，通過更低的演算法複雜度的演算法得到新的分解的矩陣，而不是重新計算分解的矩陣AB的資料值）

       流程圖如下圖所示。

    在程式設計的時候得注意第一步訓練ALS模型的時候，給ALS模型的初始化資料集是對movielens資料集中的1500個數據根據每個使用者的評分資料隨機提取20%的資料組合而成的。另外每個使用者隨機選取20%的資料組合在一起作為測試資料集。剩下的60%的資料作為流式學習的資料集。

   有一個初始化模型資料集的原因是因為ALS演算法是基於矩陣分解來做的，如果最開始的資料集的取值空間不夠大的話，在下圖中的測試結果中可以看到，最初的資料集在測試集上只能預測14670個點，其實測試集是有20000個數據集的，因此很多點我們的模型無法預測，不過沒有關係，隨著訓練資料的不斷增加，我們可以預測的資料逐漸趨近於20000個，並且預測的RMSE逐漸減小，達到了線上訓練的效果。

注：

    由於ALS演算法複雜度較高，我們最初在1G記憶體的linux上跑，出現了一些bug，換到4G記憶體的機器才能進行簡易的ALS模型的計算，而且ALS模型的rank, lambda, iter這幾個引數都比較重要，我們選擇了比較小的引數，使模型訓練簡單，但是可以說明問題，如果增加引數，模型會更好，由於機器條件限制，難以測試更好的模型的效果。

    另外，程式設計的時候碰到好多資料結構不對，或者成員函式用法不對的問題，這裡給出一些相關的網站參考連結，以備不時之需。由於各種資料結構的繼承關係，程式設計中的所有的資料結構及其成員函式的用法在下面連結中都可以找到。

1、java的各種資料結構型別和成員函式的用法

2、spark各種資料結構型別和成員函式的用法

3、scala各種資料結構型別和成員函式的用法

http://www.scala-lang.org/api/current/#package