1. 程式人生 > >大資料之簡單統計單詞的案例在本地eclipse執行

大資料之簡單統計單詞的案例在本地eclipse執行

這是利用eclipse的執行緒代替linuxe的程序去執行

第一步:首先要將已經下載解壓後的hadoop配置好相應的環境變數

第二步:

//建立配置檔案物件
        Configuration conf=new Configuration(true);

也就是下面的兩行程式碼複製到建立配置檔案物件的下面
        //設定在本地執行的檔案物件
        conf.set("mapreduce.framework.name", "local");
        // conf.set("fs.defaultFS", "hdfs://node01:9000");
        conf.set("fs.defaultFS", "file:///");

第三步:

//指定joB的原始的輸入輸出路徑,通過引數傳入
        FileInputFormat.setInputPaths(job, new Path("D://code//mr//wc//input//"));
        FileOutputFormat.setOutputPath(job, new Path("D://code//mr//wc//output//"));

當然這裡也可以利用主方法的run configurations來傳入引數:下面給出一個驗證的小案例

本案的設定如下:

得到結果:

表名成功在本地的eclipse執行