hadoop安裝流程

主要步驟
1.java環境配置
因為hadoop底層是java寫的，所以必須配置java環境
2.配置SSH免密登入
3.hadoop環境配置
hadoop-env.sh中引入java
4.hadoop元件配置資訊
HDFS配置
core-site.xml
hdfs-site.xml
MapReduce配置
mapred-site.xml
yarn-site.xml

啟動
hadoop/sbin
./start-all.sh
停止
hadoop/sbin
./stop-all.sh

hadoop shell命令

與linux shell沒有太大區別

hadoop fs - mkdir（linux命令）

hadoop fs -put /data/file1.txt file3.txt #將Linux本地檔案上傳到伺服器上
hadoop fs -get /test1/data.txt /apps
hadoop fs -cat /test1/data.txt
hadoop fs -tail /test1/data.txt
hadoop fs -du -s /test1/data.txt
hadoop fs -text /test1/data.txt

text方法可以將原始檔輸出為文字格式。允許的格式是zip和TextRecordInputStream

hadoop fs -stat /test1/data.txt

stat方法可以返回指定路徑的統計資訊，有多個引數可選，當使用-stat選項但不指定format時候，只打印檔案建立日期，相當於%y
%b：列印檔案大小（目錄為0）
%n：列印檔名
%o：列印block size （我們要的值）
%r：列印備份數
%y：列印UTC日期 yyyy-MM-dd HH:mm:ss
%Y：列印自1970年1月1日以來的UTC微秒數
%F：目錄列印directory, 檔案列印regular file

hadoop fs -expunge #清空回收站
hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /in /out
執行hadoop jar命令，在hadoop的/apps/hadoop/share/hadoop/mapreduce路徑下存在hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar包，我們執行其中的worldcount類，資料來源為HDFS的/in目錄，資料輸出到HDFS的/out目錄

hdfs dfsadmin -safemode enter 進入安全模式
hdfs dfsadmin -safemode leave 離開安全模式