由於平時對資料探勘做的比較多，所以優先看Mahout方向視訊。

Mahout有很好的擴充套件性與容錯性（基於HDFS&MapReduce開發），實現了大部分常用的資料探勘演算法（聚類、分類、推薦演算法）不過資料探勘調參和業務理解是關鍵，個人覺得真正想學習的話，還是看正規機器學習的課程比較好。

這裡省略了大部分比較技術那一塊的筆記。。。

雖然mahout在速度上有天然優勢。但R/Python其實也在接入hadoop，如RHadoop等 
而且正如[別老扯什麼Hadoop了，你的資料根本不夠大](http://geek.csdn.net/news/detail/2780) 這裡提到的，在輕量級資料上，還是沒有太大必要折騰hadoop，在hadoop上用mahout的前提應該是資料量非常大

不在部落格園上閱讀時才會看到的，這篇博文歸http://www.cnblogs.com/weibaar 所有

僅保證在部落格園部落格上的排版乾淨利索還有程式碼塊與圖片正確顯示，他站請保留作者資訊尊重版權啊

一、課程概述

1、綜合介紹 
2、聚類演算法 
3、分類演算法 
4、推薦演算法

二、聚類演算法

聚類應用場景如新聞聚類（多少條與之相關）。最常用的是k-means聚類 
基本流程應該是指定聚類次數，定位中心點，計算平均距離，最後實現產品分類。 
在Mahout裡

1、提取feature

對新聞正文分詞，對詞編碼，如doc1有哪些詞出現，轉化為0-1多維向量

2、feature向量化，多維的向量

之前的多維向量浪費空間，需要換一種表達方式，mahout裡提供lucene或其他工具把這些feature轉化為向量格式 
總之要實現有序的、節省空間的feature，最後儲存為SequenceFile格式。

3、用kmeans實施聚類

bin/mahout kmeans \ 並可調相應格式

另外，mahout提供多種向量之間距離計算org.apache.mahout.distance

因此kmeans引數調優，有一個方法是對向量距離計算方法調優

cannopy演算法：尋找最優的初始點

一般配合其他聚類方法使用 
如cannopy演算法可以協助kmeans確定初始點

就是先隨機選一個點，計算不同距離的點的個數，然後迭代計算，最後可以找出一個包含度較高的初始點 
(kmeans預設用隨機點，指定canopy的話可以尋找最優的初始點，這個改進應該也是調參之一)

三、分類演算法

屬於有監督的機器學習演算法，分類已經實現訂好了，現在看什麼因素是可以讓我們快速定位其為該分類的資料 
所以應用步驟應該是，用訓練集獲得分類模型，測試調優後用於線上產品裡

再呼叫其他的引數引用分類模型

模型評估常用的兩個指標：confusion混淆矩陣 & AUC

不在部落格園上閱讀時才會看到的，這篇博文歸http://www.cnblogs.com/weibaar 所有

僅保證在部落格園部落格上的排版乾淨利索還有程式碼塊與圖片正確顯示，他站請保留作者資訊尊重版權啊

四、推薦演算法

使用者，對什麼物品，打多少分 
preference:傾向度，可以用user-item矩陣進行評分

就是用使用者對其他物品的打分（基於相似使用者的打分，重點是查詢使用者相似度）以及其他使用者對該item的打分（重點查詢相似的物品，用商品相似度作為權重填充）

User-based的推薦效果更好，使用者效果好 
Item-based的效果較差，但是計算效率高，適合實時推薦系統

Mahout有自帶一個Taste推薦系統實現。基於java，協同過濾，屬於可靠高效的推薦引擎