1. 程式人生 > >在ubuntu下搭建hadoop環境(單機配置)

在ubuntu下搭建hadoop環境(單機配置)

電腦系統版本:windows7(32位) VMware版本:VMware10 1、安裝ubuntu 版本:16.04.1-desktop-i386 安裝完之後,需要重啟系統,重啟時可能會出現 piix4_smbus : Host SMBus controller not enabled!的提示,這是因為裝入i2c-piix4模組所導致,解決方法就是在 /etc/modprobe.d/blacklist.conf的末尾新增blacklist i2c_piix4 重啟時還有可能出現 intel_rapl:not valid rapl domains found in package 0 !的提示,解決方法是在/etc/modprob.e/blacklist.conf的末尾新增blacklist intel_rapl 2、安裝jdk jdk版本:jdk-8u121-linux-i586(字尾名是 tar.gz) 在/usr中新建java目錄 進入到java目錄中(jdk的tar包也放到這裡),使用tar命令解壓縮到當前目錄 使用vi ~/.bashrc來配置環境變數

注意:上面這張圖片中的路徑根據實際情況來編輯 配置好環境變數之後,使用source ~/.bashrc 來讓配置的內容生效 然後,輸入 java -version,如果出現下圖中的內容,則說明已經安裝好了
3、安裝hadoop    1)建立hadoop使用者組         addgroup hadoop
    2)建立hadoop使用者,並將其加入到hadoop使用者組當中
        adduser -ingroup hadoop hadoop
        回車後會提示輸入新的UNIX密碼,這是新建使用者hadoop的密碼
    3)為hadoop使用者新增許可權
        使用 vi /etc/sudoers 來為hadoop使用者新增和root使用者一樣的許可權

4)安裝hadoop
        版本:hadoop-2.5.2(字尾名是tar.gz)
        在/usr中新建hadoop目錄         進入到hadoop目錄中(hadoop的tar包也放到這裡),使用tar命令解壓縮到當前目錄         使用vi ~/.bashrc來配置                在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。                    #HADOOP VARIABLES START                    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64                    export HADOOP_INSTALL=/usr/local/hadoop                    export PATH=$PATH:$HADOOP_INSTALL/bin                    export PATH=$PATH:$HADOOP_INSTALL/sbin                    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL                    export HADOOP_COMMON_HOME=$HADOOP_INSTALL                    export HADOOP_HDFS_HOME=$HADOOP_INSTALL                    export YARN_HOME=$HADOOP_INSTALL                    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native                    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"                    #HADOOP VARIABLES END         使用source ~/.bashrc 來讓配置的內容生效
    5)編輯usr/hadoop/hadoop/etc/hadoop/hadoop-env.sh

        修改該檔案中的JAVA_HOME     6)WordCount測試         單機模式安裝完成,下面通過執行hadoop自帶例項WordCount驗證是否安裝成功         /usr/hadoop/hadoop路徑下建立input資料夾    

       mkdir input

       拷貝README.txt到input    

       cp README.txt input

       執行WordCount

       bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output


執行結果:

執行 cat output/*,檢視字元統計結果