JDK1.8

protoc 2.5.0

findbugs1.3.9

mavent3.3.9

hadoop2.7.2原始碼

如下圖：

windows遠端除錯hadoop 

--在hfds上執行ls

 bin/hdfs dfs -ls /data/input

https://my.oschina.net/leejun2005/blog/122775

http://www.cnblogs.com/cstzhou/p/5495434.html

http://blog.csdn.net/skywalker_only/article/details/25539115

http://www.cnblogs.com/duking1991/p/6056923.html

加入檔案：

http://blog.csdn.net/xiaoxiangzi222/article/details/52757168

hdfs 命令  http://blog.csdn.net/liuwenbo0920/article/details/43343983

8.向hadoop集群系統提交第一個mapreduce任務(wordcount)

進入本地hadoop目錄（/usr/hadoop）

1、  bin/hdfs dfs -mkdir -p /data/input在虛擬分散式檔案系統上建立一個測試目錄/data/input

2、  hdfs dfs -put README.txt  /data/input  將當前目錄下的README.txt 檔案複製到虛擬分散式檔案系統中

3、  bin/hdfs dfs -ls /data/input    檢視檔案系統中是否存在我們所複製的檔案

執行jar

bin/hadoop jar  ~/code/wc.jar wordcount.WordCount  /data/input ~/hadoopResult

yarn框架原理與運作機制 https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

MapFile是排序後的SequenceFile,通過觀察其目錄結構可以看到MapFile由兩部分組成，分別是data和index.

index(index作為檔案的資料索引，主要記錄了每個Record的key值，以及該Record在檔案中的偏移位置

必備引數：輸出，輸入路徑；類來自那個jar

setJarByClass---說明是設定的類是從那個jar過來的。

這裡需要注意的是sequenceFile是二進位制檔案，cat more less 之類的命令都不能以文字形式顯示順序檔案的內容，需要用到fs命令的-text選項，該選項可以檢視檔案的程式碼，檢測出檔案的型別並適當的轉化成文字

http://lbingkuai.iteye.com/blog/1504130

job.setInputFormatClass(WholeFileInputFormat.class);----isSplitable，createRecordReader設定怎麼樣把splits分割成記錄，同理

job.setOutputFormatClass(SequenceFileOutputFormat.class);---將使用者提供的key/value對寫入特定格式的檔案中

**************************************************************************************************************************************

hdfs檔案操作：http://blog.csdn.net/mmd0308/article/details/74276564
//獲取檔案系統 
FileSystem fs = FileSystem.get(conf); 


//上傳檔案到hdfs上
fs.copyFromLocalFile(new Path("/home/hzq/jdk1.8.tar.gz"),new Path("/demo"));


//下載到本地 
fs.copyToLocalFile(new Path("/java/jdk1.8.tar.gz"),new Path("/home/hzq/"));


// 刪除hdfs上的檔案
fs.delete(new Path("/demo/jdk1.8.tar.gz"),true); 


//建立test1資料夾
 fs.mkdirs(new Path("/test1"));   


//列出hdfs上所有的檔案或資料夾：
// “listFiles“列出的是hdfs上所有檔案的路徑，不包括資料夾。根據你的設定，支援遞迴查詢。
//”listStatus“列出的是所有的檔案和資料夾，不支援遞迴查詢。如許遞迴，需要自己實現。
       // true 表示遞迴查詢  false 不進行遞迴查詢
        RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(new Path("/"), true);
        while (iterator.hasNext()){
            LocatedFileStatus next = iterator.next();
            System.out.println(next.getPath());
        }
        System.out.println("----------------------------------------------------------");
        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
        for (int i = 0; i < fileStatuses.length; i++) {
            FileStatus fileStatus = fileStatuses[i];
            System.out.println(fileStatus.getPath());
        }