2. 程式人生 > >一個基於Mahout與hadoop的聚類搭建

一個基於Mahout與hadoop的聚類搭建

阿新 • • 發佈：2019-01-29
 mahout是基於hadoop的資料探勘工具，因為有了hadoop，所以進行海量資料的挖掘工作顯得更為簡單。但是因為演算法需要支援M/R，所以不是所有常用的資料探勘演算法都會支援。這篇文章會告訴你，如何使用hadoop + mahout搭出一個簡易的聚類工具。 

第一步：搭建hadoop平臺。

我使用的是ubuntu 11.04，如果沒有ubuntu的開發環境，就參考我的帖子《Ubuntu 10.10 java 開發環境》

#1 在ubuntu下面建立一個使用者組與使用者
Java程式碼  收藏程式碼
  1. beneo@ubuntu:~$ sudo addgroup hadoop  
  2. beneo@ubuntu:~$ sudo adduser --ingroup hadoop hduser  


#2 安裝ssh-server
Java程式碼  收藏程式碼
  1. beneo@ubuntu:~$ sudo apt-get install ssh  
  2. beneo@ubuntu:~$ su - hduser  
  3. hduser@ubuntu:~$ ssh-keygen -t rsa -P ""  
  4. hduser@ubuntu:~$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys  


#3 驗證ssh通訊
Java程式碼  收藏程式碼
  1. hduser@ubuntu:ssh localhost  


ssh localhost 後，選擇 yes，如果沒有問題，就可以安裝hadoop了 


#4 新增java_home
修改conf/hadoop-env.sh檔案，讓JAVA_HOME指向正確的地址 

#5 修改下面的配置
conf/core-site.xml: 
Java程式碼  收藏程式碼
  1. <configuration>  
  2.      <property>  
  3.          <name>fs.default.name</name>  
  4.          <value>hdfs://localhost:9000</value>  
  5.      </property>  
  6. </configuration>  

conf/hdfs-site.xml: 

Java程式碼  收藏程式碼
  1. <configuration>  
  2.      <property>  
  3.          <name>dfs.replication</name>  
  4.          <value>1</value>  
  5.      </property>  
  6. </configuration>  

conf/mapred-site.xml: 
Java程式碼  收藏程式碼
  1. <configuration>  
  2.      <property>  
  3.          <name>mapred.job.tracker</name>  
  4.          <value>localhost:9001</value>  
  5.      </property>  
  6. </configuration>  


#6 Format a new distributed-filesystem:
Java程式碼  收藏程式碼
  1. $ bin/hadoop namenode -format  


#7 Start the hadoop daemons:
Java程式碼  收藏程式碼
  1. $ bin/start-all.sh  


#8 驗證啟動成功沒有
Java程式碼  收藏程式碼
  1. $ jps  

數一下有沒有6個，沒有的話，刪除logs下面的檔案，然後從#6開始 

#9 別慌，先開啟網頁，打不開，等！！！
Java程式碼  收藏程式碼
  1. NameNode - http://localhost:50070/  
  2. JobTracker - http://localhost:50030/  


第一步搭建hadoop結束 

第二步，Mahout的配置

#1 下載Mahout,解壓
#2 .bash_profile裡面設定HADOOP_HOME
#3 mahout/bin/mahout 看看列印結果

第三步，做一個聚類的demo吧

我的聚類是文字 -> lucene index -> mahout -> clustering dumper 
可以選擇的是 sequeneceFile -> mahout -> clustering dumper 

我直接貼程式碼吧，用的是groovy，可能寫的不好 
#1 text -> lucene index
Java程式碼  收藏程式碼
  1. def assembleDoc = {  
  2.     label, content ->  
  3.     assert !label.toString().trim().empty  
  4.     assert !content.toString().trim().empty  
  5.     def doc = new Document()  
  6.     doc.add(new Field("label", label, Field.Store.YES, Field.Index.NOT_ANALYZED))  
  7.     doc.add(new Field("content", content, Field.Store.NO, Field.Index.ANALYZED, TermVector.YES))  
  8.     doc  
  9. }  
  10. def mockContent = {  
  11.     def set = []  
  12.     new File("""/home/beneo/text.txt""").newReader().eachLine {  
  13.         String line ->  
  14.         set << line  
  15.     }  
  16.     set  
  17. }  
  18. def mockExpandoSet = {  
  19.     def lst = []  
  20.     mockContent()?.each {  
  21.         content ->  
  22.         // 過濾掉所有非中文字元  
  23.         def line = content.replaceAll("[^\u4e00-\u9fa5]+", "")  
  24.         if (line != null && line.trim().length() > 2) {  
  25.             println(content)  
  26.             def expando = new Expando()  
  27.             expando.label = content  
  28.             expando.content = line  
  29.             lst << expando  
  30.         }  
  31.     }  
  32.     lst  
  33. }  
  34. //建立一個dic  
  35. def directory = FSDirectory.open(new File("""/home/beneo/index"""), NoLockFactory.getNoLockFactory())  
  36. // 用的是 IK分詞  
  37. def analyzer = new IKAnalyzer()  
  38. //建立一個indexWriter，這個wirter就是用來產生出index  
  39. def indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.UNLIMITED)  
  40. //從本地獲得文字  
  41. mockExpandoSet().each {  
  42.     expando ->  
  43.     indexWriter.addDocument(assembleDoc(expando.label, expando.content))  
  44. }  
  45. indexWriter.commit()  
  46. indexWriter.close()  
  47. directory.close()  


#2 lucene index -> mahout vector 
Java程式碼  收藏程式碼
  1. mahout/bin/mahout lucene.vector -d index/ -i label -o tmp/vector/vector -f content -t tmp/vector/dict -n 2  


#3 mahout vector -> mahout canopy
Java程式碼  收藏程式碼
  1. mahout/bin/mahout canopy -i tmp/vector/vector -o tmp/canopy/ -dm org.apache.mahout.common.distance.CosineDistanceMeasure -t1 0.32 -t2 0.08 -ow  


#4 mahout canopy -> mahout kmeans
Java程式碼  收藏程式碼
  1. mahout/bin/mahout kmeans -i tmp/vector/vector -c tmp/canopy/clusters-0/ -dm org.apache.mahout.common.distance.CosineDistanceMeasure -o tmp/kmeans/ -cd 0.001 -x 10 -ow -cl  


#5 mahout keamns -> 結果分析
Java程式碼  收藏程式碼
  1. String seqFileDir = "/home/hduser/tmp/kmeans/clusters-2/"  
  2. String pointsDir = "/home/hduser/tmp/kmeans/clusteredPoints/"  
  3. def conf = new Configuration()  
  4. FileSystem fs = new Path(seqFileDir).getFileSystem(conf)  
  5. Map<Integer, List<WeightedVectorWritable>> clusterIdToPoints = readPoints(new Path(pointsDir), new Configuration());  
  6. for (FileStatus seqFile: fs.globStatus(new Path(seqFileDir, "part-*"))) {  
  7.     Path path = seqFile.getPath()  
  8.     SequenceFile.Reader reader = new SequenceFile.Reader(fs, path, conf);  
  9.     org.apache.hadoop.io.Writable key = reader.getKeyClass().asSubclass(org.apache.hadoop.io.Writable.class).newInstance();  
  10.     org.apache.hadoop.io.Writable value = reader.getValueClass().asSubclass(org.apache.hadoop.io.Writable.class).newInstance();  
  11.     while (reader.next(key, value)) {  
  12.         Cluster cluster = (Cluster) value;  
  13.         int id = cluster.getId()  
  14.         int np = cluster.getNumPoints()  
  15.         List<WeightedVectorWritable> points = clusterIdToPoints.get(cluster.getId());  
  16.         if (points != null && points.size() > 4) {  
  17.             for (Iterator<WeightedVectorWritable> iterator = points.iterator(); iterator.hasNext();) {  
  18.                 println(((NamedVector) iterator.next().getVector()).getName())  
  19.             }  
  20.             println "======================================"  
  21.         }  
  22.     }  
  23. }  
  24. private static Map<Integer, List<WeightedVectorWritable>> readPoints(Path pointsPathDir, Configuration conf)  
  25. throws IOException {  
  26.     Map<Integer, List<WeightedVectorWritable>> result = new TreeMap<Integer, List<WeightedVectorWritable>>();  
  27.     FileSystem fs = pointsPathDir.getFileSystem(conf);  
  28.     FileStatus[] children = fs.listStatus(pointsPathDir, new PathFilter() {  
  29.         @Override  
  30.         public boolean accept(Path path) {  
  31.             String name = path.getName();  
  32.             return !(name.endsWith(".crc") || name.startsWith("_"));  
  33.         }  
  34.     });  
  35.     for (FileStatus file: children) {  
  36.         Path path = file.getPath();  
  37.         SequenceFile.Reader reader = new SequenceFile.Reader(fs, path, conf);  
  38.         IntWritable key = reader.getKeyClass().asSubclass(IntWritable.class).newInstance();  
  39.         WeightedVectorWritable value = reader.getValueClass().asSubclass(WeightedVectorWritable.class).newInstance();  
  40.         while (reader.next(key, value)) {  
  41.             // value is the cluster id as an int, key is the name/id of the  
  42.             // vector, but that doesn't matter because we only care about printing  
  43.             // it  
  44.             // String clusterId = value.toString();  
  45.             List<WeightedVectorWritable> pointList = result.get(key.get());  
  46.             if (pointList == null) {  
  47.                 pointList = new ArrayList<WeightedVectorWritable>();  
  48.                 result.put(key.get(), pointList);  
  49.             }  
  50.             pointList.add(value);  
  51.             value = reader.getValueClass().asSubclass(WeightedVectorWritable.class).newInstance();  
  52.         }  
  53.     }  
  54.     return result;  
  55. }  


效果我就不展示了 

相關推薦

一個基於Mahout與hadoop的聚類搭建

 mahout是基於hadoop的資料探勘工具，因為有了hadoop，所以進行海量資料的挖掘工作顯得更為簡單。但是因為演算法需要支援M/R，所以不是所有常用的資料探勘演算法都會支援。這篇文章會告訴你，如何使用hadoop + mahout搭出一個簡易的聚類工具。 第一步：搭

匯動網，一個基於SNS與LBS體育運動類社群

目前網際網路關於運動體育這一塊，形式主要為兩種：一是基於體育資訊的門戶類，另一就是依託於BBS的社群。 在新的內容形式不斷湧現的今天（例如lbs，sns等），網際網路上的體育運動內容還只是基於傳統的資訊以及BBS，這不能不說不是一個巨大的遺憾。 本人首先作為一名軟體工程專業

基於hadoop生態系統的mahout推薦和聚類分析（1）

簡介 hadoop是Apache旗下的一個開源分散式計算平臺，在分散式環境下為使用者提供處理海量資料的能力。 mahout是hadoop下的一個子專案，主要用於推薦、分類和聚類分析 一、推薦 關於推薦的演算法有很多，本次主要介紹協同過濾演算法。 （1）基於使用者的協

基於K-means Clustering聚類算法對電商商戶進行級別劃分(含Octave仿真)

fprintf highlight 初始 load ogre max init 金額 定時 在從事電商做頻道運營時，每到關鍵時間節點，大促前，季度末等等，我們要做的一件事情就是品牌池打分，更新所有店鋪的等級。例如，所以的商戶分入SKA,KA,普通店鋪,新店鋪這4個級別，對於

基於w2v詞向量聚類出現的問題（有待解決）

cut 主題 分詞 問題 tmp kmean cab rain 如果 1.訓練詞向量代碼如下：#訓練詞語為向量表示def w2v_train(self): ques = self.cu.execute(‘select question from activity‘)#

一個x方向的簡單聚類

void clustering(vector<cv::Point2f> &vec_in) {     int size = vec_in.size();     for (int i = 0; i < ve

【搜尋引擎】用whoosh+無監督聚類搭建一套智慧搜尋引擎

因本介面自定義功能較多，且底層演算法自己搭建，故不再使用其他三方庫，只用whoosh其他演算法自己寫。 # -*- coding: utf-8 -*- from whoosh.fields import Schema,TEXT,ID from whoosh.index i

結合Doc2Vec與改進聚類演算法的中文單文件自動摘要方法研究

                                                                      圖1 本文方法示意圖 一．基於Doc2Vec 的句子向量訓練        Doc2Vec 模型能很好地結合上下文語境, 挖

大資料作業（一）基於docker的hadoop叢集環境搭建

主要是根據廈門大學資料庫實驗室的教程(http://dblab.xmu.edu.cn/blog/1233/)在Ubuntu16.04環境下進行搭建。 一、安裝docker(Docker CE) 根據docker官網教程(https://docs.docker.

異端審判器！一個泛用型文字聚類模型的實現（1）

給你的入侵檢測系統提供一個靈感。 如果給你一大堆使用者輸入，裡面有大量的中文地名，像是“北京”、“成都”、“東莞”，不幸的是，其中也混有一些羅馬地名，比如 “Singapore”、“New York”、“Tokyo”。你的任務是將它們分開，你會如何去做？ 當然，有

機器學習-PCA降維與DBScan聚類分析實戰

基本概念： 　　在資料處理中，經常會遇到特徵維度比樣本數量多得多的情況，如果拿到實際工程中去跑，效果不一定好。一是因為冗餘的特徵會帶來一些噪音，影響計算的結果；二是因為無關的特徵會加大計算量，耗費時間和資源。所以我們通常會對資料重新變換一下，再跑模型。資料變換的目的不僅僅是降維，還可以消除特徵之間的相關性，

linux ubuntu系統下基於eclipse的hadoop開發環境搭建

hadoop是基於linux作業系統的。 本文在linux ubuntu系統下，在eclipse下配置hadoop的開發環境。 這個開發環境對linux下的hadoop偽分散式配置有效，其他配置情況不明。 如果是完全分散式環境，需要重新設定core-site.xml,hdf

一個基於HTML與JavaScript的Wizard演示

整個過程模仿使用者註冊，分為三步完成，執行效果如下： 全部程式碼如下： <html> <head> <title>JavaScript Create User Wizard Example</title> &

Mac基於docker的hadoop單機環境搭建

1. 下載docker.dmg 2. 執行docker pull拉去centos映象 docker pull centos:centos7 docker run -it centos:centos7 /bin/bash 3. 建立hadoop使用者 4. 把wget，vi

模式識別設計（Python程式設計）：IRIS資料集的Kmeans聚類與分解聚類法

題目：本次作業的實驗需求是使用分解聚類法與c-means聚類法對IRIS資料集進行聚類，Kmeans聚類程式碼網上摘錄，分解聚類法純原創，PS：因為時間緊，分解聚類法進行第二次分解時，偷懶了~~有緣人改改吧~~ 資料格式： kmeans程式碼： import mat

異端審判器！一個泛用型文字聚類模型的實現（2）

上文連結：異端審判器！一個泛用型文字聚類模型的實現(1) 上回，我們提出了一種只要輸入一堆字串，就能根據字串的構造挑揀出“少數派”，以識別異常引數的構想。我們將它稱作“異端審判”。 前文中我們已經定義好了一些必要概念，並寫出了函式實現。我們的程式遞進地量化了字元之間的差異、字串之間的差異，最終得

模式識別：C-means(K-means)聚類演算法與分級聚類(層次聚類)演算法

  C均值聚類演算法與分級聚類演算法的聚類分析 一、實驗目的 理解聚類的整體思想，瞭解聚類的一般方法； 掌握 C-means與分級聚類演算法演算法思想及原理，並能夠熟練運用這些演算法進行聚類分析； 能夠分析二者的優缺點 二、實驗內容 採用C均

Kmeans聚類與層次聚類

聚類 聚類就是對大量未知標註的資料集，按資料的內在相似性將資料集劃分為多個類別，使類別內的資料相似度較大而類別間的資料相似度較小. 資料聚類演算法可以分為結構性或者分散性,許多聚類演算法在執行之前，需要指定從輸入資料集中產生的分類個數。 1.分散式聚類演算法，是一次性確定要產生的類別，這種演算法也已應用於從下

快速建立一個基於SpringBoot與Maven的專案

基礎SpringBoot與maven專案 根目錄 │ .classpath │ .project │ pom.xml │ README.md │ ├─src │ ├─main │ │ ├─java │ │ │ └─com │ │

在R環境下基於鳶尾花資料做聚類分析

title: “cluster with graphs (Iris species)” author:”gongzi liu” data:”2017/06/02” output: html_notebook setwd(“C:/Users/Adm