2. 程式人生 > >Linux虛擬機器上安裝Hadoop叢集（初學）

Linux虛擬機器上安裝Hadoop叢集（初學）

阿新 • • 發佈：2019-01-08

測試已成功完成安裝的版本

hbase-1.2.6-bin.tar.gz
hadoop-2.7.5.tar.gz
ubuntu-16.04.3-server-amd64.ios
jdk-8u161-linux-x64.tar.gz
zookeeper-3.4.8.tar.gz

ps：如有需要請留言

寫在前面的話

關於這篇部落格
本教程並不是自己總結而寫的，都是網站上的大牛們，一個個超詳細的總結，在這裡感謝大牛們對初學者的關照！！
這裡貼出的部落格沒有排名之分，也沒有好壞之分，而且只是冰山一角，摘出了幾篇博主認為適合初學者的而已。
關於教程模式
如果已經有初步認識，而且有一定的linux基礎的話，可以直接看最後博主貼出的安裝命令，及操作，比較簡單，但是是完整安裝。
如果沒有基礎的話也沒有關係，博主會推薦很多適合初學者的部落格，一步一步地理解。

讓我們開始進入hadoop的學習與安裝

預設為完全分散式安裝
實驗條件是3臺Vm的ubuntu-server虛擬機器（可能部落格裡的linux是不一樣的，不過沒關係，都差不很多）
為什麼不選擇最新版本的hadoop呢？因為最新版本教程有點少，博主也是剛開始學習，所以選擇了相容性更高的低版本。

安裝時遇到的錯誤

ps：博主曾遇到的典型錯誤

至此hadoop安裝完畢

Hbase + zookeeper 的安裝

總結

可能是失敗的太多了，後面的安裝更加得心用手，就在一天的晚上一下全部安裝完畢。

說一下安裝過程中的自己認為重要的點：

  1. 用ssh免密連線只需要master與slave之間就可以，slave之間是不需要的。
  2. 配置檔案的時候，資料夾是可以自己建立的。
  3. 3.0版本與2.x版本之間差異還是存在的，如果熟悉2.x安裝時候3.0安裝可能會更好安裝
  4. centos版本的虛擬機器自帶root賬戶，雖然安裝起來不需要許可權的干擾，但是以後實際使用時還是需要有許可權管理的。
  5. 命令的使用能加快安裝的程序
  6. 理解配置檔案的內容，其實還有意義的。
  7. 配置只需一個，剩下的複製就可以了！！！

指令集錦

初始配置

sudo apt install openssh-server

192.168.178.142
 
 hadoop1
192.168.178.137 hadoop2
192.168.178.139 hadoop3

修改源

sudo vi /etc/apt/sources.list

# 預設註釋了原始碼映象以提高 apt update 速度，如有需要可自行取消註釋
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse

更新，下載編譯工具

sudo apt update

sudo apt install vim

    ps -A | grep apt
    sudo kill -9 程序ID

# sudo apt-get upgrade

修改名字


sudo hostname hadoop1

修改時間

sudo tzselect

sudo cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

安裝jdk，驗證


tar -zxf jdk-8u161-linux-x64.tar.gz

sudo mv jdk1.8.0_161/ /opt/

sudo vim /etc/profile.d/jdk1.8.sh

export JAVA_HOME=/opt/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

java -version

ssh免密連線

sudo apt install ssh

sudo apt install rsync

ssh-keygen -t rsa 

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop1

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop2

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop3

hadoop的環境變數配置

sudo vim /etc/profile.d/hadoop2.7.5.sh
#!/bin/sh
export HADOOP_HOME="/opt/hadoop-2.7.5"
export PATH="$HADOOP_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

hadoop內部環境變數

sudo vim /etc/profile.d/hadoop-env.sh 
export JAVA_HOME=/opt/jdk1.8.0_161

從節點配置

slaves
hadoop2
hadoop3

檔案配置

----------------------------------------------------------------

     ---------------core-site.xml---------------

<configuration>
        <!-- 指定hdfs的nameservice為ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Hadoop1:9000</value>
        </property>
        <!-- Size of read/write buffer used in SequenceFiles. -->
        <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>
        <!-- 指定hadoop臨時目錄,自行建立 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/zd/hadoop/tmp</value>
        </property>
</configuration>

----------------------------------------------------------------

     ---------------hdfs-site.xml---------------

<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop1:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/zd/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/home/zd/hadoop/hdfs/data</value>
    </property>
</configuration>

----------------------------------------------------------------

     ---------------yarn-site.xml---------------

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- Configurations for ResourceManager -->
     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
           <name>yarn.resourcemanager.address</name>
           <value>hadoop1:8032</value>
     </property>
     <property>
          <name>yarn.resourcemanager.scheduler.address</name>
          <value>hadoop1:8030</value>
      </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>hadoop1:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>hadoop1:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoop1:8088</value>
     </property>
</configuration>

----------------------------------------------------------------

     ---------------mapred-site.xml---------------

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop1:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop1:19888</value>
  </property>
</configuration>

----------------------------------------------------------------

複製到從節點


scp -r hadoop-2.7.5 hadoop2:

sudo mv hadoop-2.7.5 /opt/

初始化

cd /opt/hadoop-2.7.5
hdfs namenode -format

啟動

cd /opt/hadoop-2.7.5/sbin
./start-all.sh

檢測，網頁檢測

jps

http://192.168.178.142:8088/

配置hbase環境變數

sudo vim /etc/profile.d/hbase1.2.6.sh
export HBASE_HOME=/opt/hbase-1.2.6 
export PATH=$HBASE_HOME/bin:$PATH

內部jdk配置

vim /opt/hbase-1.2.6/conf/hbase-env.sh
修改# export JAVA_HOME=/opt/jdk1.8.0_161

配置檔案

----------------------------------------------------------------

     ---------------hbase-site.xml---------------

<configuration>
    <property> 
        <name>hbase.rootdir</name> 
        <!-- hbase存放資料目錄 -->
        <value>hdfs://Hadoop1:9000/zd/hbase/hbase_db</value>
        <!-- 埠要和Hadoop的fs.defaultFS埠一致-->
    </property> 
    <property> 
        <name>hbase.cluster.distributed</name> 
        <!-- 是否分散式部署 -->
        <value>true</value> 
    </property> 
</configuration>

這裡與上面的教程不一樣

cd /opt/hbase-1.2.6/conf
vim regionservers
去掉預設的localhost,加入hadoop2、hadoop3

複製到從節點

scp -r hbase-1.2.6 hadoop2:

zookeeper的環境變數

sudo vim /etc/profile.d/zookeeper-3.4.8.sh
export ZOOKEEPER=/opt/zookeeper-3.4.8 
export PATH=$PATH:$ZOOKEEPER/bin

source /etc/profile

配置

cp zoo_sample.cfg zoo.cfg
修改：
dataDir=/opt/zookeeper-3.4.8/data
新增：
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

發到從節點

scp -r zookeeper-3.4.8 hadoop2:

配置

三臺機器下面data目錄裡面各自建一個myid的檔案

cd /usr/tools/zookeeper-3.4.8/data
vi myid
然後裡面填上相應的數字
master是server.1，myid裡面填1
slaver1是server.2，myid裡面填2
slaver2是server.3，myid裡面填3

三臺分別啟動zookeeper
zkServer.sh start

然後,每臺機器上檢視狀態：
zkServer.sh status

結果如下正常：
ZooKeeper JMX enabled by default
Using config: /usr/tools/zookeeper-3.4.8/bin/../conf/zoo.cfg
Mode: follower

使用jps檢視：
jps

結果
QuorumPeerMain

完成，感謝閱讀。

相關推薦

Linux虛擬機器上安裝Hadoop叢集（初學）

測試已成功完成安裝的版本 hbase-1.2.6-bin.tar.gz hadoop-2.7.5.tar.gz ubuntu-16.04.3-server-amd64.ios jdk-8u161-linux-x64.tar.gz zookeeper-3

VirtualBox虛擬機器上安裝CentOS-7（Linux作業系統）

     學習Linux作業系統對於小白，一般都會在Windows下安裝虛擬機器，在虛擬機器上安裝Linux作業系統。對於初次接觸安裝上不免對於安裝選項不知所措。為學習Linux踩過不少坑，在這裡總結了一下安裝過程，也為鞏固。    對於安裝VirtualBox虛擬機器還是V

redis在Linux虛擬機器上安裝了，在windows下無法訪問的問題

redis在Linux虛擬機器上安裝了，在windows下無法訪問的問題 1：ifconfig檢視虛擬機器分配的ip 2：redis.conf中bind 指定虛擬機器的ip 3：redis-server …/redis.comf 參考了一些網上的資料，主要的步驟是： 1.window

Linux虛擬機器上安裝JDK的幾種方式

1、準備工作：下載JDK1.8版本、安裝好Linux系統的環境、已經安裝完成的VM虛擬機器。 2、安裝jdk 方法一：利用yum源來安裝jdk（此方法不需要配置環境變數）   檢視yum庫中的java安裝包 ：yum -y list java* 或者yum search

怎樣在linux虛擬機器上安裝Qt

1、開啟虛擬機器，重新安裝VMware Tool工具 （1）點選虛擬機器，選擇 重新安裝VMware Tool 開啟終端解壓VMwareTools-9.6.1-1378637.tar.gz 我的VMwareTools-9.6.1-1378637.tar.gz檔案拖到了桌面 命令： cd 桌

AWS上搭建Hadoop叢集（一）——單機安裝Hadoop

課堂專案中實現了在AWS上搭建Hadoop叢集進行資料分析，過程中間不免遇到眾多問題，在此總結以供各位參考。 建立EC2例項 亞馬遜AWS服務想必大家都有所瞭解，這裡略過註冊過程（為了拿student credit還是花了一番功夫）。在EC2的介面上，

在linux虛擬機器上安裝docker

1、簡介 Docker是一個開源的應用容器引擎；是一個輕量級容器技術； Docker支援將軟體編譯成一個映象；然後在映象中各種軟體做好配置，將映象釋出出去，其他使用者可以直接使用這個映象； 執行中的這個映象稱為容器，容器啟動是非常快速的。 2、核心概念 do

Linux虛擬機器上安裝效能測試工具OProfile

                作者：鄒祁峰 郵箱：[email protected] 部落格

Linux虛擬機器上安裝jdk1.8.0

我是一名Java初級的開發工程師，很多地方都需要自己慢慢去探究和摸索。現在就在Linux系統上安裝jdk1.8.0_131這個版本為例子，詳細講解我在安裝jdk過程中的步驟和一些基本的命令，以供參考。 我是在Windows7系統上安裝了VMware Workstation

在Linux虛擬機器上安裝QT

一 安裝虛擬機器 執行VMware-workstation-full-11.1.0-2496824.exe 二 在虛擬機器上安裝Linux （1）下載Ubuntu桌面版 從官網進入，選擇“桌面版”，按

在VMware虛擬機器下安裝Android Studio（AS）以及執行第一個HelloWorld程式

1、JDK 1.1下載  百度一下“JDK”即可 1.2安裝 選擇安裝目錄 C:\java JAVA_HOME→C:\java         PATH→C:\java\bin 2、android studio (AS) 2.2安裝  遇到的問題： 1.新建

VirtualBox虛擬機器中安裝CentOS 7（二）對映SSH埠

CentOS 7在VirtualBox中安裝完成並啟用網路後，現在使用埠對映將22埠對映到本機22埠，方便使用ssh進行連線 1.開啟在虛擬機器的網路設定，點開高階--埠轉發 如下圖所示，加入一個SSH埠22的轉發，主機埠可以不和子系統埠相同（比如122）： 在xShe

linux虛擬機器安裝hadoop叢集（hadoop-2.7.5）

<property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.di

Win10下在VMware虛擬機器上安裝Linux Unbantu安裝記錄

1．在Win10環境下安裝Vmware虛擬機器。 下載vmware，官網 按照提示一步步往下，沒什麼太大的問題 產品金鑰百度上有很多，附一個：5A02H-AU243-TZJ49-GTC7K-3C61N   2．在執行虛擬機器後，安裝Linux作業系統。 下載is

在 VMware 虛擬機器上安裝 Linux 系統 Ubuntu 教程

之前裝過雙系統，用的 Deepin，雖然體驗很好，但是不能關機，一直沒解決。這次就裝虛擬機器了，選擇的是 Ubuntu 18.04.1 TS 版本。 一、前期準備 裡面有兩個啟用碼，只適合 VM 12 。 VY1DU-2VXDH-08DVQ-PXZQZ-

在虛擬機器上安裝linux時客戶機作業系統與安裝的映象

自己使用的真實電腦（系統）就是主機，你新建一臺新的虛擬機器就被成為一個客戶機（你再新建另一個虛擬機器，它也是客戶機），即主系統與子系統的關係。 　　通過虛擬機器軟體，你可以在一臺物理計算機上模擬出二臺或多臺虛擬的計算機，這些虛擬機器完全就像真正的計算機那樣進行工

Linux上安裝Hadoop叢集(CentOS7+hadoop-2.8.0)

 關鍵字：Linux  CentOS  Hadoop  Java  版本：  CentOS7  Hadoop2.8.0  JDK1.8  說明：Hadoop從版本2開始加入了Yarn這個資源管理器，Yarn並不需要單獨安裝。只要在機器上安裝了

VMware Workstation虛擬機器上安裝Linux系統

     從入門到成為一隻菜鳥，Linux作業系統必不可少。第一步，就是安裝Linux系統。因為只是初學，所以就在虛擬機器上安裝了Linux系統。這裡虛擬機器用的是VMware Workstation 12，在這裡提供幾個註冊密匙，任意版本永久有效~：           

安裝VMware虛擬機器及在虛擬機器上安裝Linux系統(Ubuntu)

之前從沒安裝過虛擬機器，最近想自己學點東西，故想安裝一個虛擬機器及在虛擬機器上安裝Linux系統。由於以前從來沒有安裝過，本來以為會花很多時間，其實安裝下來並沒有想象中的那麼困難和麻煩，但是為了以後能快速的安裝，還是把自己的安裝步驟給記錄下來，以備以後使用，有需要的小夥伴也

linux虛擬機器上系統空間不足——擴容問題（二）

隨著Linux虛擬機器的不斷使用，在VMware中經常遇到 預先裝好的 linux 虛擬機器的硬碟空間過小 的問題，造成很多軟體不能安裝， 而重新裝一個，又挺麻煩。於是，上網搜了下關於 vmware 硬碟擴容的方法。 總結如下： 1、掛載點必須是一個目錄。 2、一個分割槽掛載在一個已存在的目錄上，這個目錄可以