1 準備Linux環境
1.修改主機名稱
vi /etc/sysconfig/network
NETWORK=yes
HOSTNAME=www.hadoopone.com

centos7 修改主機名
hostnamectl set-hostname www.hadoopone.com

--修改完成主機名稱之後要重啟才能生效

2.修改IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.80.128
NETMASK=255.255.255.0
GETWAY=192.168.80.1
DNS1=114.114.114.114
DNS2=8.8.8.8
3.重啟網路
service network restart
4.配置主機名和IP地址的對映關係
vi/etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.80.128 www.hadoopone.com
5.關閉防火牆
service iptables status
service iptables stop
6.設定防火牆開機不啟動
chkconfig iptables --list
chkconfig iptables off
chkconfig命令主要用來更新（啟動或停止）和查詢系統服務的執行級資訊。謹記chkconfig不是立即自動禁止或啟用一個服務，它只是簡單的改變了符號連線。
6. 上傳JDK
mkdir /usr/java
7.解壓JDK
tar -zxvf jdk-8u121-linux-i586.tar.gz -C /usr/java
-z 有gzip屬性的
-x 解壓
-v 顯示所有過程
-f 使用檔案名字，切記，這個引數是最後一個引數，後面只能接檔案名
-C 大C引數很有用，改變檔案目錄，多層時用
8.配置環境變數
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_111
export PATH=$PATH:$JAVA_HOME/bin
當環境變數配置成PATH=$JAVA_HOME/bin時，會導致所有的命令不可用（ls,vi等）
解決方法:使用Vi編輯器命令所在的絕對路徑對profile檔案進行編輯
/bin/vi /etc/profile
9.重新整理環境變數的配置檔案-profile
source /etc/profile
10.驗證JDK是否安裝成功


錯誤：-bash: /usr/java/jdk1.8.0_121/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory
原因：作業系統是64的，下載了32位的JDK
錯誤 ：-bash: ls: command not found
環境變數檔案出問題
解決辦法：登入到虛擬機器，修改環境變數配置檔案
11.刪除錯誤的jdk安裝目錄
rmdir 目錄非空，就陷入深深的苦惱之中。
rm -rf 命令：
直接rm就可以了，不過要加兩個引數-rf 即：rm -rf 目錄名字
-r 就是向下遞迴，不管有多少級目錄，一併刪除
-f 就是直接強行刪除，不作任何提示的意思

12.上傳hadoop安裝包
mkdir /bigdata
13.解壓hadoop安裝包
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdata/
14.在hadoop安裝目錄下有幾個比較重要的目錄
sbin: 啟動活停止hadoop相關服務的指令碼
bin： 對hadoop相關服務（HDFS,YARN）進行操作的指令碼
etc：hadoop的配置檔案目錄
share：hadoop的依賴jar包和文件，文件可以被刪除
lib:hadoop的本地庫（對資料庫進行壓縮解壓縮功能的）
15.配置hadoop（偽分散式），修改其中的5個配置檔案即可
/bigdata/hadoop-2.6.5/etc/hadoop
ESC : set nu  顯示檔案行號
1 hadoop-env.sh   hadoop環境相關的配置檔案
vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121
2 core-site.xml hadoop核心配置檔案,會覆蓋預設的配置檔案的屬性core-default.xml
<!-- 配置hdfs NameNode(老大)地址-->
vi core-site.xml 
<configuration>
<property>
<name>fs.defaultFS</name>
可以寫主機名和IP地址,
<value>hdfs://www.hadoopone.com:9000</value>
</property>
<!--配置hadoop執行時資料存放的目錄，不是臨時資料，放很重要的資料，hadoop執行時的資料全部放在這個檔案下面-->
<!--在格式化namenode 的時候自動生成這個目錄-->
<property>
<name>hadoop.tmp.dir</name>
<value>/bigdata/tmp</value>
</property>
</configuration>
3 hdfs-site.xml
<!--指定hdfs儲存資料的副本數量，指定幾就是存幾份-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4 mapred-site.xml.template
<!--指定mapreduce程式設計模型執行在yarn上-->
重新命名檔案 mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5 yarn-site.xml
vi yarn-site.xml
<configuration>
<!--指定yarn的老大（ResourceManager的地址）-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>www.hadoopone.com</cdvalue>
</property>


<!--mapreduce執行shuffle獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
16  初始化HDFS(格式化HDFS) 格式化namenode
cd /bigdata/hadoop-2.6.5/bin
./hdfs namenode -format
格式化成功：Storage directory /bigdata/tmp/dfs/name has been successfully formatted.

jps檢視java程序狀態
17 啟動HDFS服務  
需要切換到hadoop-2.6.5目錄下：
--sbin/start-all.sh(hdfs,yarn)
sbin/start-dfs.sh(hdfs,yarn)
啟動成功之後有四個程序
DataNode
NameNode
SecondaryNameNode
瀏覽器訪問
192.168.3.111：50070有正常顯示，這hdfs啟動成功
18 啟動yarn服務
需要切換到hadoop-2.6.5目錄下：
sbin/start-yarn.sh
ResourceManager
NodeManager
瀏覽器訪問
192.168.3.111：8088有正常顯示，這hdfs啟動成功

NameNode  HDFS 老大 管理整個檔案系統
DateNode  HDFS 小弟
SecondaryName  NameNode助理  幫助NameNode同步源資料
 
ResourceManager yarn老大
NodeManager yarn 的小組長

19 配置hosts檔案
20 在one上面通過ssh命令在two上面建立資料夾
ssh

[email protected] mkdir /Two
密碼輸入正確之後，還在one主機
21 免密登入
ssh-copy-id [email protected]
報錯：/usr/bin/ssh-copy-id: ERROR: No identities found
原因：one伺服器沒有生成公鑰和私鑰
生成：ssh-keygen -t rsa
檢視: cd ~/.ssh    ls
ssh-copy-id [email protected]


檢視是否拷貝成功：


進入two伺服器的（~）目錄下
使用ls -la 檢視是否有 .ssh
如果有進入.ssh目錄
cd .ssh/

cat authorized_keys 
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAx/64Pa/dPDWHtfza0s4VhlFlsJrYldMW+EbFxIAq/FtxsE/N28863Og4DmuiLD/p/j3bl+eyz0xztr9kz80iOW1rNWW7RchITR0jlKIgKQX3EQQQi4OtQXja9pZQ28zEiIyfJOD07KGhEBeFCcvXDx0985RBeYhAgFm86xxW48CVnRHsAJpmU3us5u5c8A709Y0O9X7yzPA1LRAxySCh/ar0eBUQNJktaTKg/PBTgJdJ/AqMsXzJsOMO/wBv5kB0YYCmJbzWaU06Yi2N8RnO6/wfc4lZAAb4R71vCflh+0rgglSLXHoV5Ejl61WtzUOBTeJyWzDqXCEkj2WFB9Qi4Q==

[email protected]


有www.hadoopone.com顯示成功

檢視one伺服器的keys:
進入two伺服器的（~）目錄下
cd .ssh ls
cat id_rsa.pub 
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAx/64Pa/dPDWHtfza0s4VhlFlsJrYldMW+EbFxIAq/FtxsE/N28863Og4DmuiLD/p/j3bl+eyz0xztr9kz80iOW1rNWW7RchITR0jlKIgKQX3EQQQi4OtQXja9pZQ28zEiIyfJOD07KGhEBeFCcvXDx0985RBeYhAgFm86xxW48CVnRHsAJpmU3us5u5c8A709Y0O9X7yzPA1LRAxySCh/ar0eBUQNJktaTKg/PBTgJdJ/AqMsXzJsOMO/wBv5kB0YYCmJbzWaU06Yi2N8RnO6/wfc4lZAAb4R71vCflh+0rgglSLXHoV5Ejl61WtzUOBTeJyWzDqXCEkj2WFB9Qi4Q==

[email protected]

顯示免密登入配置成功

22 列出HDFS跟目錄下的所有檔案
hdfs dfs -ls hdfs://www.hadoopone.com:9000/
hdfs dfs -ls /
22 上傳整個資料夾
hdfs dfs -put news /

hdfs dfs -rmr aaa.txt 刪除
23 上傳檔案許可權不足
錯誤：Permission denied: user=hadoop, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
修改檔案：haoop 配置檔案中hdfs-site.xml 中設定許可權為false
<configuration>
<property>
       <name>dfs.replication</name>
       <value>1</value>
</property>
<property>
       <name>dfs.permissions.enabled</name>
       <value>false</value>
</property>
</configuration>

24 上傳中報錯：could only be replicated to 0 nodes instead of minReplication
  原因：由於上次執行其它版本的Hadoop在/tmp/hadoop-root/dfs/data目錄下有殘留的不相容的資料
  解決方式 : 刪除tmp/dfs/data 中的所有內容