linux 安裝hadoop 筆記(一)單機模式
阿新 • • 發佈:2019-02-01
用root登入
1、安裝jdk
1.1 從官網下載jdk最新的linux版本(jdk-8u111-linux-x64.tar.gz)放到 /usr/local/ 下
cd /usr/local/
tar -xzvf jdk-8u111-linux-x64.tar.gz
1.2 編輯 vim /etc/profile 配置環境變數 增加如下內容
export JAVA_HOME=/usr/local/jdk1.8.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH: .....
1.3 source /etc/profile (使配置生效)
1.4 java -version (看是否安裝成功)
2、建立新使用者(直接用root也行) 配置ssh免密登入
2.1 sudo apt-get install ssh (安裝ssh,一般linux都安裝了)
2.2 常見使用者 hadoopor 密碼 hadoopor
useradd hadoopor
passwd hadoopor (輸入密碼)
2.3 修改 /etc/sudoers 檔案,找到下面一行,在root下面新增一行,使hadoopor擁有root許可權如下所示:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
hadoopor ALL=(ALL) ALL
2.4 用hadoopor使用者身份登入
在使用者目錄 /home/hadoopor 新建隱藏目錄 (可以用ll -a 檢視隱藏目錄或檔案)
mkdir .ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh -version (顯示:“Bad escape character 'rsion'”,則成功)
ssh localhost (能登入則成功了,不行退出再登入試試)
3、安裝hadoop (以hadoopor登入 )
3.1 從官網下載 hadoop-2.7.3.tar.gz 拷貝到目錄 /home/hadoopor
tar -xzvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop
3.2 編輯 vim /etc/profile 配置環境變數 增加修改如下內容
HADOOP_HOME=/home/hadoopor/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH: .....
3.3 source /etc/profile (使配置生效)
3.4 cd /home/hadoopor.hadoop/ (執行一下格式化node)
hadoop/bin/hdfs namenode -format
mkdir input (裡面可以放自己的資料檔案)
測試一下是否成功(input是上一步定義的目錄,output 會新生成,貌似每次都要先把output刪掉再執行,否則報異常)
bin/hadoop jar /home/hadoopor/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount input output
cat output/* (可以檢視執行結果)
3.5 自定義的業務,打包成jar,上傳到 /home/hadoopor/hadoop/myjar (新建myjar目錄用來存放自己的業務jar)
bin/hadoop jar /home/hadoopor/hadoop/myjar/hadoopTest-1.0-SNAPSHOT.jar com.zkd.hadoop.test.Test2 /home/hadoopor/hadoop/input/tmp.txt /home/hadoopor/hadoop/output
(如果用到了第三方依賴包,可以把依賴的jar 放到$HADOOP_HOME/share/hadoop/common/lib 別相信網上那些用-libjars或把依賴也打進jar包這兩種方式是坑人的)
3.6 用IDEA建立maven 普通java專案,寫一些測試程式碼。本文一些程式碼參考自《hadoop權威指南》,專案具體看附件