centos安裝與測試Hadoop2.7
阿新 • • 發佈:2018-12-13
為了方便,我們需要對伺服器進行配置
1.1修改主機名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop1
1.2修改主機名和IP的對映關係
vim /etc/hosts
根據自己的IP設定
1.3關閉防火牆 #檢視防火牆狀態
#systemctl is-enabled firewalld.service
firewall-cmd --state
#關閉防火牆
systemctl stop firewalld.service
#關閉防火牆開機啟動
systemctl disable firewalld.service
1.4重啟機器
上傳檔案
使用secureCRT軟體連線伺服器 為了方便上傳下載檔案需要安裝
yum install lrzsz -y
rz上傳 sz下載
Hadoop需要Java的環境,之前我們配置了的 現在我們直接安裝Hadoop
- 解壓
tar -zxvf hadoop-2.7.5.tar.gz
- 修改配置 切換到目錄:cd hadoop-2.7.5/etc/hadoop/
第一個:hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65 第二個:core-site.xml <!-- 指定HADOOP所使用的檔案系統schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000</value> </property> <!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.7.5/tmp</value> </property> 第三個:hdfs-site.xml hdfs-default.xml (3) <!-- 指定HDFS副本的數量 --> <property> <name>dfs.replication</name> <value>1</value> </property> 第四個:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) 首先執行 mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr執行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 第五個:yarn-site.xml <!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <!-- reducer獲取資料的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> ****第六個啟動叢集配置 vim slaves 把localhost改為自己真實的 hadoop1 (多個就新增多臺) 第六個啟動叢集配置 vim slaves 把localhost改為自己真實的 hadoop1 (多個就新增多臺)
- 將hadoop新增到環境變數
vim /etc/proflie
export JAVA_HOME=/usr/local/java/jdk1.8.0_181/
export HADOOP_HOME=/home/hadoop/hadoop-2.7.5:wq
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
- 格式化namenode(是對namenode進行初始化)
hdfs namenode -format (hadoop namenode -format) 上面兩條命令嘗試,版本問題 成功後效果
驗證hadoop是否安裝成功
先 jps 命令檢視程序
啟動hadoop
先啟動HDFS
start-dfs.sh
這裡會有一系列的提示資訊
再啟動YARN
start-yarn.sh
yarn 也啟動成功
啟動成功後,我們還可以通過瀏覽器檢視hadoop相關資訊 只需要在瀏覽器輸入 注意IP地址換為自己的ip地址
至此hadoop啟動成功,可以使用它的功能了
HDFS測試
上傳檔案
hadoop fs -put test.txt hdfs://hadoop2:9000/
下載檔案
hadoop fs -get hdfs://hadoop2:9000/test.txt
執行mapreduce 程式
執行提供的例子,切換到hadoop2.7_181/share/hadoop/mapreduce 使用jar包裡的例子,mapreduce模型計算圓周率 mapreduce 取樣數量(5),任務數(5)
hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 5 5
測試結果列印