1. 程式人生 > >linux 安裝hadoop 筆記(一)單機模式

linux 安裝hadoop 筆記(一)單機模式


用root登入
1、安裝jdk
1.1 從官網下載jdk最新的linux版本(jdk-8u111-linux-x64.tar.gz)放到 /usr/local/ 下
cd /usr/local/
tar -xzvf jdk-8u111-linux-x64.tar.gz 
1.2 編輯 vim /etc/profile 配置環境變數 增加如下內容
export JAVA_HOME=/usr/local/jdk1.8.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH: .....
1.3 source /etc/profile  (使配置生效)
        1.4 java -version   (看是否安裝成功)

2、建立新使用者(直接用root也行) 配置ssh免密登入
        2.1 sudo apt-get install ssh  (安裝ssh,一般linux都安裝了)
2.2 常見使用者 hadoopor 密碼 hadoopor 
useradd hadoopor
passwd hadoopor  (輸入密碼)
2.3 修改 /etc/sudoers 檔案,找到下面一行,在root下面新增一行,使hadoopor擁有root許可權如下所示:
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
hadoopor   ALL=(ALL)     ALL
2.4 用hadoopor使用者身份登入
        在使用者目錄  /home/hadoopor  新建隱藏目錄  (可以用ll -a  檢視隱藏目錄或檔案)
mkdir .ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh -version  (顯示:“Bad escape character 'rsion'”,則成功)
        ssh localhost  (能登入則成功了,不行退出再登入試試)
3、安裝hadoop (以hadoopor登入 )
3.1 從官網下載  hadoop-2.7.3.tar.gz  拷貝到目錄 /home/hadoopor 
tar -xzvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop
3.2 編輯 vim /etc/profile 配置環境變數 增加修改如下內容
        HADOOP_HOME=/home/hadoopor/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH: .....
3.3 source /etc/profile  (使配置生效)
3.4 cd /home/hadoopor.hadoop/ (執行一下格式化node)
        hadoop/bin/hdfs namenode -format
mkdir input (裡面可以放自己的資料檔案)
測試一下是否成功(input是上一步定義的目錄,output 會新生成,貌似每次都要先把output刪掉再執行,否則報異常)
bin/hadoop jar /home/hadoopor/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount input output
cat output/*  (可以檢視執行結果)
3.5  自定義的業務,打包成jar,上傳到 /home/hadoopor/hadoop/myjar (新建myjar目錄用來存放自己的業務jar)
bin/hadoop jar /home/hadoopor/hadoop/myjar/hadoopTest-1.0-SNAPSHOT.jar  com.zkd.hadoop.test.Test2 /home/hadoopor/hadoop/input/tmp.txt       /home/hadoopor/hadoop/output

(如果用到了第三方依賴包,可以把依賴的jar 放到$HADOOP_HOME/share/hadoop/common/lib  別相信網上那些用-libjars或把依賴也打進jar包這兩種方式是坑人的)

3.6 用IDEA建立maven 普通java專案,寫一些測試程式碼。本文一些程式碼參考自《hadoop權威指南》,專案具體看附件