2. 程式人生 > >vmware中hadoop叢集安裝指南

vmware中hadoop叢集安裝指南

阿新 • • 發佈：2018-11-09

1、準備Linux環境

1.0先將虛擬機器的網路模式選為NAT

1.1修改主機名
        vi /etc/sysconfig/network
        
        NETWORKING=yes
        HOSTNAME=shizhan1    ###克隆之後其他主機的名字分別是shizhan2 shizhan3 shizhan4....

1.2修改IP
        兩種方式：
        第一種：通過Linux圖形介面進行修改（強烈推薦）
            進入Linux圖形介面 -> 右鍵點選右上方的兩個小電腦 -> 點選Edit connections -> 選中當前網路System eth0 -> 點選edit按              鈕-> 選擇IPv4 -> method選擇為manual -> 點選add按鈕 
            新增IP：192.168.33.101   子網掩碼：255.255.255.0   閘道器：192.168.33.1    DNS:192.168.33.1   -->apply
    
        第二種：修改配置檔案方式（屌絲程式猿專用）
            vim /etc/sysconfig/network-scripts/ifcfg-eth0
            
            DEVICE="eth0"
            BOOTPROTO="static"               ###
            HWADDR="00:0C:29:3C:BF:E7"
            IPV6INIT="yes"
            NM_CONTROLLED="yes"
            ONBOOT="yes"
            TYPE="Ethernet"
            UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
            IPADDR="192.168.33.101"           ###
            NETMASK="255.255.255.0"          ###
            GATEWAY="192.168.33.1"            ###

 1.3修改主機名和IP的對映關係
        vim /etc/hosts
            
        192.168.33.101    shizhan1
        192.168.33.102    shizhan2
        192.168.33.103    shizhan3
        192.168.33.104    shizhan4
        ....
        ###如果有更多主機可以先新增，克隆之後方便一些

1.4關閉防火牆
        #檢視防火牆狀態
        service iptables status
        #關閉防火牆
        service iptables stop
        #檢視防火牆開機啟動狀態
        chkconfig iptables --list
        #關閉防火牆開機啟動
        chkconfig iptables off

 1.5 修改sudo（如何直接用root登入無需這一步）
        su root
        vim /etc/sudoers
        給hadoop使用者新增執行的許可權

        關閉linux伺服器的圖形介面：（看需求）

         vi /etc/inittab 

1.6重啟Linux
        reboot


2.安裝JDK

2.1上傳alt+p 後出現sftp視窗，然後put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
    

2.2解壓jdk
        #建立資料夾
        mkdir /home/hadoop/app
        #解壓
        tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

2.3將java新增到環境變數中
        vim /etc/profile
        #在檔案最後新增
        export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
        export PATH=$PATH:$JAVA_HOME/bin
    
        #重新整理配置
        source /etc/profile
        

3.安裝hadoop

3.1、先上傳hadoop的安裝包到伺服器上去/home/hadoop/（可以自己選目錄）
     注意：hadoop2.x的配置檔案$HADOOP_HOME/etc/hadoop

3.2、配置hadoop

   進去hadoop/etc/目錄，偽分散式需要修改5個配置檔案
   第一個：hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.7.0_65（jdk所在路徑）
        
    第二個：core-site.xml

        <!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 -->

      <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://shizhan1:9000</value>
        </property>
        <!-- 指定hadoop執行時產生檔案的儲存目錄 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>
            </property>
        </configuration>
    第三個：hdfs-site.xml   

 <configuration>
        <!-- 指定HDFS副本的數量 -->
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop/data/name</value>
        </property>

        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/hadoop/data/data</value>
        </property>

        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>

        <property>
            <name>dfs.secondary.http.address</name>
            <value>shizhan1:50090</value>
        </property>

 </configuration>

    第四個：mapred-site.xml
        mv  mapred-site.xml.template  mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr執行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
    第五個：yarn-site.xml
        <!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>shizhan1</value>
        </property>
        <!-- reducer獲取資料的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
         

3.3、指定datanode所在位置
         vi  slaves
         新增
         shizhan1
         shizhan2
         shizhan3


3.4將hadoop新增到環境變數
    vim /etc/proflie
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/itcast/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile
    

4、將虛擬機器進行克隆操作

4.1、克隆之後更改vi /etc/sysconfig/network，對應的主機名
4.2、解決不能上網的問題

         rm -rf /etc/udev/rules.d/70-persistent-net.rules
         先重啟reboot看能不能上網，不能再刪除UUID HWADDR再重啟
       （vim /etc/sysconfig/network-scripts/ifcfg-eth0  刪除裡面的UUID  HWADDR）

5、配置ssh免登陸

    #生成ssh免登陸金鑰
    #進入到我的home目錄
    cd ~/.ssh

    ssh-keygen -t rsa （四個回車）
    執行完這個命令後，會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰）
    將公鑰拷貝到要免密登陸的目標機器上
    ssh-copy-id xxxxxx
    ---------------------------
    ssh免登陸：
        生成key:
        ssh-keygen
        複製從A複製到B上:
        ssh-copy-id B
        驗證：
        ssh localhost/exit，ps -e|grep ssh
        ssh A  #在B中執行

6、格式化namenode（是對namenode進行初始化）

       hdfs namenode -format (hadoop namenode -format)       

        如果出現permission denied，是因為沒有檔案執行全選
        chmod -A 777 hadoop目錄

        如果又新添加了機器，還要重新格式化

7、啟動hadoop

        先啟動HDFS
        sbin/start-dfs.sh
        
        再啟動YARN
        sbin/start-yarn.sh

    （由於配置了環境變數所以直接start-dfs.sh也可以）
        停止叢集：stop-dfs.sh  stop-yarn.sh

全部一次性啟動方式：start-all.sh  stop-all.sh

8、驗證是否啟動成功

HDFS叢集：
負責海量資料的儲存，叢集中的角色主要有 NameNode / DataNode
YARN叢集：
負責海量資料運算時的資源排程，叢集中的角色主要有 ResourceManager /NodeManager

使用jps命令驗證
       NameNode
       SecondaryNameNode
       ResourceManager

       NodeManager
       DataNode
    
http://192.168.33.101:50070 （HDFS管理介面）
http://192.168.33.101:8088 （MR管理介面）
        

 

相關推薦

vmware中hadoop叢集安裝指南

1、準備Linux環境 1.0先將虛擬機器的網路模式選為NAT 1.1修改主機名         vi /etc/sysconfig/network          &n

VMWare14中Hadoop叢集安裝記錄

標籤（空格分隔）： Hadoop --- 軟體： [VMWare14](https://pan.baidu.com/s/1_fZPVguQGPbXH-fMmc68YQ)  (提取碼：2rsq), [CentOS 7](http://isoredirect.centos.

Hadoop----叢集搭建指南（中卷）

前言 本文的搭建基於上卷的配置，環境不再一一贅述。網路配置好的5臺節點均可相互ping通，對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16

VMware中CentOS6.5安裝tengine服務器

tengine通過ssh將tengine壓縮包tengine-2.1.0.tar.gz上傳到服務器上。上傳到/opt路徑下解壓tengine-2.1.0.tar.gztar -zxvf tengine-2.1.0.tar.gz 進入tengine的解壓目錄cd tengine-2.1.0安裝tengine的依

VMWare中Linux從安裝redis到啟動，windows本地連線

1、我使用的是cenos 7.5 ，直接在虛擬機器上輸入地址：Http://www.redis.cn/，然後圖進行下載： 2、下載完成後，把下載的壓縮檔案拷貝到自己建立的opt目錄下，然後使用命令：tar -zxvf redis-4.0.10.tar.gz 3、解壓完成後出現資料夾：r

Hadoop----叢集搭建指南（下卷）

前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor

Hadoop----叢集搭建指南（上卷）

前言 閱讀本文，需要具備Linux、計算機網路的基礎知識。所以在文中出現的相關基礎知識，均以連結的形式給出，務必理解該連結的內容後，繼續閱讀本指南。 叢集搭建的環境多種多樣，本文采用VitualBox安裝5臺虛擬機器構建叢集。具體環境： CentOS 6.5 6

使用VMware搭建Hadoop叢集虛擬網路配置

使用NET模式，DNS地址就配置成閘道器的地址 NET虛擬網路配置   1、開啟VMware虛擬網路編輯器 編輯-->虛擬網路編輯器-->VMnet8-->更改設定     2、配置主機網路地址 &nb

hadoop叢集安裝20181016

安裝jdk 一、通過ppa源下載： 1.新增ppa元， sudo add-apt-repository ppa:webupd8team/java #等待一會兒 sudo apt-get update 2.安裝oracle-java-installer sudo apt-get install

Hadoop叢集安裝Pig

下載壓縮包：http://www.apache.org/dyn/closer.cgi/pig 解壓： tar -zxvf pig-0.17.0.tar.gz -C ~/ 配置： 在 ~/.bashrc 檔案末尾新增，其中HADOOP_HOME為Hadoop安裝路徑，如HA

hadoop叢集安裝前環境的配置

1.1增加hadoop使用者 一）建立一個admin使用者 [[email protected] home]# adduser hadoop 沒輸出？沒有輸出在linux下就是操作正確 （二）為admin使用者設定密碼 [[email protected]

1.Hadoop叢集安裝部署

Hadoop叢集安裝部署 1.介紹 （1）架構模型 （2）使用工具 VMWARE cenos7 Xshell Xftp jdk-8u91-linux-x64.rpm hadoop-2.7.3.tar.gz 2.安裝步驟 （1）部署master 建立一臺虛擬機器 Xftp傳輸jdk、hadhoop安裝

2.Hadoop叢集安裝進階

Hadoop進階 1.配置SSH免密 （1）修改slaves檔案 切換到master機器，本節操作全在master進行。 進入/usr/hadoop/etc/hadoop目錄下，找到slaves檔案，修改： slave1 slave2 slave3 （2）傳送公鑰 進入根目錄下的.ssh目錄： 生成公私鑰

Hadoop叢集安裝配置

Hadoop的安裝分為單機方式、偽分散式方式 和 完全分散式方式。 單機模式 : Hadoop的預設模式。當首次解壓Hadoop的原始碼包時，Hadoop無法瞭解硬體安裝環境，便保守地選擇了最小配置。在這種預設模式下所有3個XML檔案均為空。當配置檔案為空時，Hadoop會完全執行在本地

Hadoop叢集安裝的簡易操作

基於Hadoop分散式叢集的搭建 對於Hadoop叢集的搭建，一直處於摸索狀態，但這個在資料探勘中確實相當的重要，所以總結如下： ssh免密登入 安裝ssh客戶端 $ sudo apt-get install openssh-client 安裝完客戶端後

Hadoop叢集安裝四大模式

叢集的安裝模式：       1.單機模式：只需要解壓即可用，沒有分散式的檔案系統，也沒有namenode datanode Secondar等，檔案系統就是linux/widows的本地檔案系統。 用於：程式碼除錯       2.偽分散式：有相關的hdfs或yar

VMware 下Hadoop叢集環境搭建之虛擬機器克隆,Hadoop環境配置

在上一篇我們完成了ContOS網路配置以及JDK的安裝,這一篇將在上一篇的基礎上繼續講解虛擬機器的克隆,hadoop環境搭建 虛擬機器克隆. 利用上一篇已經完成網路配置和jdk安裝的虛擬機器在克隆兩臺虛擬機器. 1. 將擬機hadoop01關機.

Hadoop叢集安裝配置教程_Hadoop2.6.0_Ubuntu/CentOS

Hadoop叢集安裝配置教程_Hadoop2.6.0_Ubuntu/CentOS 2014-08-09 (updated: 2016-09-26) 125333 217 本教程適合於原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等

Hadoop 叢集安裝（主節點安裝）

1、下載安裝包及測試文件 切換目錄到/tmp view plain copy cd /tmp 下載Hadoop安裝包 view plain copy wget http://192.168.1.100:60000/hadoop-2.6.0-cdh5.4.5.tar.gz 下載JDK安裝包 view pl

Hadoop 叢集安裝（從節點安裝配置）

1、Java環境配置 view plain copy sudo mv /tmp/java /opt/ jdk安裝完配置環境變數，編輯/etc/profile： view plain copy sudo vim /etc/profile 在檔案末尾，新增如下內容： view plain copy expor