2. 程式人生 > >mahout自帶的例子 -------------------------分類

mahout自帶的例子 -------------------------分類

阿新 • • 發佈：2019-01-30
介紹
這二十個新聞組資料集合是收集大約20,000新聞組文件，均勻的分佈在20個不同的集合。這20個新聞組集合採集最近流行的資料集合到文字程式中作為實驗，根據機器學習技術。例如文字分類，文字聚集。我們將使用Mahout的Bayes Classifier創造一個模型，它將一個新文件分類到這20個新聞組集合

首要條件
。Mahout已經下載
。Maven是可用的
。已經設定瞭如下環境變數：
HADOOP_HOME hadoop的安裝路徑
MAHOUT_HOME mahout的安裝路徑

安裝Mahout
如果已經下載了distribution的Mahout，使用unzip/untar解壓，進入解壓後的目錄，
1.進入trunk目錄，編譯並且建立hadoop job
Java程式碼  收藏程式碼
  1. mvn install  


基於Mahout 0.2+：
1.建立目錄並且下載20newsgroup的資料
Java程式碼  收藏程式碼
  1. $ mkdir $MAHOUT_HOME/examples/bin/work/  
  2. $ cd  $MAHOUT_HOME/examples/bin/work/  


2.下載20news-bydate.tar.gz從[url=20newsgroups dataset]20newsgroups dataset[/url]

3.解壓
Java程式碼  收藏程式碼
  1. tar zxf 20news-bydate.tar.gz  


4.生成input的資料
Java程式碼  收藏程式碼
  1. $> $MAHOUT_HOME/bin/mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \  
  2.   -p examples/bin/work/20news-bydate/20news-bydate-train \  
  3.   -o examples/bin/work/20news-bydate/bayes-train-input \  
  4.   -a org.apache.mahout.vectorizer.DefaultAnalyzer \  
  5.   -c UTF-8


5.生成test的資料
Java程式碼  收藏程式碼
  1. $> $MAHOUT_HOME/bin/mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \  
  2.   -p examples/bin/work/20news-bydate/20news-bydate-test \  
  3.   -o examples/bin/work/20news-bydate/bayes-test-input \  
  4.   -a org.apache.mahout.vectorizer.DefaultAnalyzer \  
  5.   -c UTF-8



在hadoop叢集上執行20newsgroups例子
設定hadoop叢集
1.編輯hadoop-site.xml，新增本地設定Hadoop quickstart
Java程式碼  收藏程式碼
  1. emacs $HADOOP_HOME/conf/hadoop-site.xml  

2.格式HDFS
Java程式碼  收藏程式碼
  1. $ $HADOOP_HOME/bin/hadoop namenode -format  

3.啟動hadoop
Java程式碼  收藏程式碼
  1. $ $HADOOP_HOME/bin/start-all.sh  

4.上傳檔案到HDFS
Java程式碼  收藏程式碼
  1. $ $HADOOP_HOME/bin/hadoop dfs -put $MAHOUT_HOME/examples/bin/work/20news-bydate/bayes-train-input 20news-input  


Train貝葉斯分類基於Tri-grams
下面將在hadoop執行4個map reduce工作，為了Train這個分類器並且將執行一段時間如果在只有一個節點的機器上
Java程式碼  收藏程式碼
  1. $> $MAHOUT_HOME/bin/mahout trainclassifier \  
  2.   -i 20news-input/bayes-train-input \  
  3.   -o newsmodel \  
  4.   -type bayes \  
  5.   -ng 3 \  
  6.   -source hdfs  


你可以監控這個job的狀態，從Job Tracker的機器上開啟瀏覽器訪問：http://localhost:50030/jobtracker.jsp

在input目錄執行Test分類器
Java程式碼  收藏程式碼
  1. $> $MAHOUT_HOME/bin/mahout testclassifier \  
  2.   -m newsmodel \  
  3.   -d 20news-input \  
  4.   -type bayes \  
  5.   -ng 3 \  
  6.   -source hdfs \  
  7.   -method mapreduce  


輸出的結果：
08/11/07 16:52:39 INFO bayes.TestClassifier: Done loading model: # labels: 20
08/11/07 16:52:39 INFO bayes.TestClassifier: Done generating Model
08/11/07 16:52:57 INFO bayes.TestClassifier: alt.atheism96.9962453066333775/799.0
08/11/07 16:53:15 INFO bayes.TestClassifier: comp.graphics99.28057553956835966/973.0
08/11/07 16:53:45 INFO bayes.TestClassifier: comp.os.ms-windows.misc96.95431472081218955/985.0
08/11/07 16:53:59 INFO bayes.TestClassifier: comp.sys.ibm.pc.hardware99.59266802443992978/982.0
08/11/07 16:54:10 INFO bayes.TestClassifier: comp.sys.mac.hardware99.47970863683663956/961.0
08/11/07 16:54:28 INFO bayes.TestClassifier: comp.windows.x99.59183673469387976/980.0
08/11/07 16:54:38 INFO bayes.TestClassifier: misc.forsale98.45679012345678957/972.0
08/11/07 16:54:50 INFO bayes.TestClassifier: rec.autos99.4949494949495985/990.0
08/11/07 16:55:04 INFO bayes.TestClassifier: rec.motorcycles100.0994/994.0
08/11/07 16:55:16 INFO bayes.TestClassifier: rec.sport.baseball99.89939637826961993/994.0
08/11/07 16:55:36 INFO bayes.TestClassifier: rec.sport.hockey99.89989989989989998/999.0
08/11/07 16:55:54 INFO bayes.TestClassifier: sci.crypt99.39455095862765985/991.0
08/11/07 16:56:05 INFO bayes.TestClassifier: sci.electronics98.98063200815494971/981.0
08/11/07 16:56:27 INFO bayes.TestClassifier: sci.med99.79797979797979988/990.0
08/11/07 16:56:44 INFO bayes.TestClassifier: sci.space99.3920972644377981/987.0
08/11/07 16:57:06 INFO bayes.TestClassifier: soc.religion.christian99.49849548645938992/997.0
08/11/07 16:57:24 INFO bayes.TestClassifier: talk.politics.guns99.45054945054945905/910.0
08/11/07 16:57:51 INFO bayes.TestClassifier: talk.politics.mideast98.82978723404256929/940.0
08/11/07 16:58:13 INFO bayes.TestClassifier: talk.politics.misc89.93548387096774697/775.0
08/11/07 16:58:25 INFO bayes.TestClassifier: talk.religion.misc61.78343949044586388/628.0
08/11/07 16:58:25 INFO bayes.TestClassifier: =======================================================
Summary
-------------------------------------------------------
Correctly Classified Instances          :      18369   97.5621%
Incorrectly Classified Instances        :        459    2.4379%
Total Classified Instances              :      18828

=======================================================
Confusion Matrix
-------------------------------------------------------
a    b    c    d    e    f    g    h    i    j    k    l    m    n    o    p    q    r    s    t    <--Classified as
994  0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0     |  994   a     = rec.motorcycles
0    976  0    0    0    0    0    0    0    0    1    0    0    0    0    0    0    0    2    1     |  980   b     = comp.windows.x
7    0    929  1    0    0    0    0    0    0    0    0    1    0    2    0    0    0    0    0     |  940   c     = talk.politics.mideast
0    0    0    905  0    0    1    0    0    0    0    0    0    0    0    0    3    0    1    0     |  910   d     = talk.politics.guns
4    1    4    27   388  1    0    1    0    5    1    1    2    2    149  7    2    33   0    0     |  628   e     = talk.religion.misc
3    0    0    0    0    985  0    1    0    0    0    0    0    1    0    0    0    0    0    0     |  990   f     = rec.autos
0    0    0    0    0    0    993  1    0    0    0    0    0    0    0    0    0    0    0    0     |  994   g     = rec.sport.baseball
0    0    0    0    0    0    1    998  0    0    0    0    0    0    0    0    0    0    0    0     |  999   h     = rec.sport.hockey
0    0    0    0    0    0    0    0    956  0    2    0    0    0    0    0    0    0    2    1     |  961   i     = comp.sys.mac.hardware
0    0    0    0    0    0    0    0    0    981  0    0    5    0    0    1    0    0    0    0     |  987   j     = sci.space
0    0    0    0    0    0    0    0    0    0    978  0    1    0    0    0    0    0    2    1     |  982   k     = comp.sys.ibm.pc.hardware
1    0    3    36   0    1    2    1    0    5    0    697  4    0    3    3    19   0    0    0     |  775   l     = talk.politics.misc
0    2    0    0    0    0    0    0    0    0    2    0    966  0    0    0    0    0    2    1     |  973   m     = comp.graphics
1    0    0    0    0    0    0    0    0    0    6    0    0    971  0    0    0    0    3    0     |  981   n     = sci.electronics
1    0    0    0    0    0    0    0    1    0    0    0    0    0    992  1    0    1    0    1     |  997   o     = soc.religion.christian
0    0    0    0    0    0    0    0    0    0    1    0    0    0    0    988  0    0    0    1     |  990   p     = sci.med
0    0    0    2    0    0    0    0    0    0    0    0    2    1    0    0    985  0    1    0     |  991   q     = sci.crypt
0    0    0    1    1    0    0    0    0    1    0    0    1    0    19   0    1    775  0    0     |  799   r     = alt.atheism
1    0    0    0    0    3    1    2    0    0    3    0    0    5    0    0    0    0    957  0     |  972   s     = misc.forsale
0    0    0    8    0    0    0    0    0    0    6    0    6    0    0    0    0    0    10   955   |  985   t     = comp.os.ms-windows.misc


附加的Naive Bayes
Train一個CBayes分類器使用bi-grams
Java程式碼  收藏程式碼
  1. $> $MAHOUT_HOME/bin/mahout trainclassifier \  
  2.   -i 20news-input \  
  3.   -o newsmodel \  
  4.   -type cbayes \  
  5.   -ng 2 \  
  6.   -source hdfs  


Test一個CBayes分類器使用bi-grams
Java程式碼  收藏程式碼
  1. $> $MAHOUT_HOME/bin/mahout testclassifier \  
  2.   -m newsmodel \  
  3.   -d 20news-input \  
  4.   -type cbayes \  
  5.   -ng 2 \  
  6.   -source hdfs \  
  7.   -method mapreduce 

相關推薦

mahout自帶的例子 -------------------------分類

介紹 這二十個新聞組資料集合是收集大約20,000新聞組文件，均勻的分佈在20個不同的集合。這20個新聞組集合採集最近流行的資料集合到文字程式中作為實驗，根據機器學習技術。例如文字分類，文字聚集。我們將使用Mahout的Bayes Classifier創造一個模型，它將一個

OPENCV SVM介紹和自帶例子

位置 amp vma width 數據線 degree 當前 來看 get 依據機器學習算法如何學習數據可分為3類：有監督學習：從有標簽的數據學習，得到模型參數，對測試數據正確分類；無監督學習：沒有標簽，計算機自己尋找輸入數據可能的模型；強化學習（reinforcement

Geant4采用make和cmake編譯運行geant4自帶例子的方法

剛才 例子 1-1 build g++ 核數 emp cmake 編譯 該教程介紹如何將geant4中自帶的例子通過camke編譯成可執行文件，並運行程序。 1 在linux主目錄下創建一個geant4_workdir目錄，並將geant4自帶的例子B1復制到該目錄

matlab自帶各種分類器的使用示例

stl 隨機森林 方法 predict cat label .net vector mat 全文轉至 u014114990的專欄，address：https://blog.csdn.net/u014114990/article/details/51067059 個人修改建議

opencv 單目相機標定 自帶例子程式的使用

<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/

Hadoop3.1.1執行自帶例子wordcount發生的錯誤

　錯誤 1 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml con

Matlab自帶的分類學習工具箱（SVM、決策樹、Knn等分類器）

在matlab中，既有各種分類器的訓練函式，比如“fitcsvm”，也有圖形介面的分類學習工具箱，裡面包含SVM、決策樹、Knn等各類分類器，使用非常方便。接下來講講如何使用。 啟動： 點選“應用程式”，在面板中找到“Classification Lea

hadoop自帶例子wordcount的具體執行步驟

1.在linux系統中，所在目錄“/home/kcm”下建立一個資料夾input [[email protected]~]$ mkdir input 2.在資料夾input中建立兩個文字檔案file1.txt和file2.txt，file1.txt中內容是“hel

matlab自帶的分類器對人臉、鼻子、嘴進行檢測

<span style="font-size:18px;">%%^^^^^^^^^^^^author: jagadeesh %%^^^^^^^^^^^mail id: [email protected] %^^^^^^^project: face an

人臉與人眼識別 opencv自帶例子

所做的工作就是新建了一個VS2010工程，win32控制檯應用程式，空工程。 只新建了一個cpp檔案 拷貝以下程式碼（百度來的，感謝網友。。。） // face_detect.cpp : 定義控制檯應用程式的入口點。 // //#include "stdafx.h"

storm自帶例子詳解 （一）——WordCountTopologyNode

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * dist

OpenCV自帶例子（三）兩幅影象相加

#include <cv.h> #include <highgui.h> #include <iostream> using namespace cv; int main( int argc, char** argv ) { doubl

Caffe自帶例子執行

首先說明一點，在caffe中執行所有程式，都必須在CAFFE的根目錄下進行，否則會出錯。 兩個例子分別是mnist和cifar10，mnist被稱為程式設計界的hello world。 1

目標檢測之訓練opencv自帶的分類器（opencv_haartraining 或 opencv_traincascade）

    最權威的說明，參考官方使用手冊：     http://www.OpenCV.org.cn/opencvdoc/2.3.2/html/doc/user_guide/ug_traincasca

hadoop mahout 執行自帶的例子

The 20 Newsgroups資料集合收集了大約20,000 個新聞群組的文件,它們被劃分成為大約20個新聞組。在機器學習領域，這個資料集合被廣泛的應用與分類和聚類測試資料集。下面是介紹如何利用這個資料集合來進行分類。 準備工作： （1）首先確保安裝了hadoop和m

【轉載】Caffe學習：運行caffe自帶的兩個簡單例子

0.00 練習 siam 其它 sudo 單例 復制 腳本 policy 原文：http://www.cnblogs.com/denny402/p/5075490.html 為了程序的簡潔，在caffe中是不帶練習數據的，因此需要自己去下載。但在caffe根目錄下的data

用opencv3.3自帶的traincascade.exe訓練LBP特征的分類器

不能 有效 格式 aar file jpg for rotation 方差 opencv3.3中有可以訓練分類器opencv_traincascade.exe，可以用HAAR、LBP和HOG特征訓練分類器。 這個函數都可以在opencv\build\x64\vc14\bin

Hadoop自帶Sort例子分析

lan exit more double expr ogr oms lru sort /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor lic

TF之AE：AE實現TF自帶數據集AE的encoder之後decoder之前的非監督學習分類

feature print all feed 定義 jason 學習分類 and lib import tensorflow as tf import numpy as np import matplotlib.pyplot as plt #Import MNIST d

使用級聯分類器實現人臉檢測（OpenCV自帶的數據）

== output include print code ould har his ... 1 #include <opencv2/opencv.hpp> 2 #include <iostream> 3 4 using namespace