前言

大家都知道，Hadoop的部署方式可分為

• 單機模式
• 偽分散式
• 完全分散式

本篇主要講解的就是完全分散式。

搭建完全分散式的叢集環境，需要多臺的硬體裝置，作為初學者，為了搭建叢集去買多臺電腦，多少有點不現實，所以這裡我採用的是VM虛擬機器，模擬搭建一個由三臺機器組成的叢集。

要想成功搭建的分散式環境，需要具備安裝和操作VM虛擬機器，使用Ubuntu系統的基本命令，Linux下安裝Java以及Hadoop等相關技能。不過不會的話，也不用太擔心，我會盡量把我的操作過程寫得詳細一點。

具體的搭建過程可以分為以下幾個階段：

• 安裝虛擬機器
• 安裝和配置Ubuntu
• 安裝和配置Java環境
• 安裝和配置Hadoop

安裝虛擬機器

VMware Workstation 下載 http://rj.baidu.com/soft/detail/13808.html?ald
啟用碼百度一搜一大堆，這裡就不寫了，安裝過程也比較簡單，實在不會的，百度上也有圖解的教程，請自行搜尋。

安裝和配置Ubuntu

Ubuntu 下載https://www.ubuntu.com/download

下面介紹如何在虛擬機器中安裝Ubuntu作業系統，我們需要安裝三臺虛擬機器，分別命名為Hadoop Master（以下簡稱master），Hadoop Slave1（以下簡稱slave1

1、首先，開啟安裝好的虛擬機器VMware Workstation 12 Pro（以下簡稱VM） 

2、依次點選 檔案 → 新建虛擬機器 

3、選擇 自定義(高階)(C)，點選 下一步 

4、硬體的相容性選擇，使用預設的設定，直接點選 下一步 

5、點選 瀏覽，選擇下載好的Ubuntu的iso檔案，點選 下一步 

6、填寫安裝資訊，點選 下一步 

7、命名虛擬機器，為了方便我們後續識別，安裝第一個系統時，我們命名使用Hadoop Master

8、處理器配置，根據自己機器的CPU情況來設定，比如我的是四核的，處理器數量就選擇4，處理器的核心數量使用預設的1就行，點選 下一步 

9、設定記憶體，注意，必須是4MB的倍數，根據自己機器的記憶體來設定。比如，我的PC主機記憶體是8G，我為每臺虛擬機器設定1.5G（1536MB）的記憶體，主機剩餘3.5G記憶體，這樣主機不卡，虛擬機器記憶體也足夠使用。原則上說，給虛擬機器設定的記憶體總和不要超過PC主機的實體記憶體就行，只不過設定太高，主機就會變慢。 

10、網路型別，這裡選擇使用橋接網路，因為我們需要主機與虛擬機器與網際網路，這三者都是通的，在安裝的過程中，才不會遇到麻煩。 

11、I/O控制器和磁碟型別，都使用預設的選項即可，點選 下一步 
 

12、選擇磁碟，選擇建立新的虛擬磁碟，點選 下一步 

13、指定磁碟容量，也就是設定虛擬機器系統佔用主機的物理空間的大小，使用預設值即可。 

14、指定磁碟檔案，預設即可，點選 下一步 

15、點選 完成，等待虛擬機器系統安裝完成，安裝過程中，請保持網路暢通。

16、同理，安裝另外兩臺虛擬機器Hadoop Slave1和Hadoop Slave2，都安裝好後，如下圖 

17、分別設定每臺虛擬機器的固定IP，保證虛擬機器與虛擬機器與主機之間都能夠相互ping通。具體操作這裡就不贅述了，網上資料有很多，如果是公司電腦，讓網路管理員幫忙設定下，如果是自己的機器，看下自己的路由器的IP分配情況 

18、我們要搭建一個由三臺機器組成的叢集，先配置虛擬機器的hosts和hostname，以便虛擬機器與虛擬機器與主機之間不用使用IP，使用hostname就可以相互識別，很方便。

192.168.8.230    master
192.168.8.231    slave1
192.168.8.232    slave2

• 1
• 2
• 3

• 1
• 2
• 3

以master為例，通過命令：

hadoop@master:~$ vi /etc/hostname

• 1

• 1

設定為master，另外兩臺虛擬機器分別設定為slave1和slave2 

hadoop@master:~$ vi /etc/hosts

• 1

• 1

三臺虛擬機器都設定成以下的配置 

19、配置三臺虛擬機器之間的SSH無密碼登入

首先通過命令生成公匙：

hadoop@master:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

• 1

• 1

將公匙新增到authorized_keys檔案中：

hadoop@master:~$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• 1

• 1

這樣，localhost就可以無密碼登入了，看下效果：

hadoop@master:~$ ssh localhost
Welcome to Ubuntu 12.04 LTS (GNU/Linux 3.2.0-123-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

722 packages can be updated.
356 updates are security updates.

New release '14.04.5 LTS' available.
Run 'do-release-upgrade' to upgrade to it.

Last login: Tue Mar  7 14:40:15 2017 from slave1
hadoop@master:~$

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

同理，將公匙複製到slave1和slave2的authorized_keys檔案中，就可以讓master無密碼登入slave1和slave2了。

通過命令遠端複製：

hadoop@master:~$ scp ~/.ssh/id_dsa.pub hadoop@slave1:~/
hadoop@master:~$ scp ~/.ssh/id_dsa.pub hadoop@slave2:~/

• 1
• 2

• 1
• 2

分別到slave1和slave2機器上，新增master的公匙資訊到authorized_keys檔案中：

hadoop@slave1:~$ cat ~/id_dsa.pub >> ~/.ssh/authorized_keys

• 1

• 1

hadoop@slave2:~$ cat ~/id_dsa.pub >> ~/.ssh/authorized_keys

• 1

• 1

到master上，測試一下效果： 

同理：

• 在slave1生成公匙，然後複製到master和slave2的authorized_keys檔案中，這樣slave1就可以無密碼登入master和slave2
• 在slave2生成公匙，然後複製到master和slave1的authorized_keys檔案中，這樣slave2就可以無密碼登入master和slave1

以上就是三臺虛擬機器的SSH無密碼登入配置方法，大家可以根據實際的使用情況來設定，並不一定非要三臺都支援雙向的無密碼登入。

安裝和配置Java環境

安裝JDK： 下載 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1、以master為例，下載完，解壓，這些最好都在hadoop使用者的根目錄下執行，可以避免在其他目錄沒有許可權的問題，解壓完在移動到/usr/lib/jvm/jdk1.8.0_121目錄下面，這個不是必須的，大家也可以移到其他目錄：

hadoop@master:~$ cd ~
hadoop@master:~$ tar -zxvf ~/jdk-8u121-linux-x64.tar.gz
hadoop@master:~$ sudo mv ~/jdk1.8.0_121 /usr/lib/jvm/

• 1
• 2
• 3

• 1
• 2
• 3

2、配置環境變數

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

• 1
• 2
• 3
• 4

• 1
• 2
• 3
• 4

將上面的內容新增到~/.bashrc檔案中，注意，JAVA_HOME後面的路徑改成自己的安裝路徑：

hadoop@master:~$ vi ~/.bashrc
hadoop@master:~$ source ~/.bashrc

• 1
• 2

• 1
• 2

使用Java -version命令檢視版本，如果出現以下資訊，說明配置成功了： 

同樣，也把slave1和slave2安裝和配置好java環境

安裝和配置Hadoop

hadoop下載 http://hadoop.apache.org/releases.html

hadoop叢集中每臺機器的配置都基本相同，我們先配置好master，然後複製到slave1和slave2上

1、下載並解壓，並重命名目錄為hadoop，移動到/usr目錄下去

hadoop@master:~$ tar -zxvf hadoop-2.2.0_x64.tar.gz
hadoop@master:~$ mv hadoop-2.2.0 hadoop

• 1
• 2

• 1
• 2

hadoop@master:~$ sudo mv ~ 
 

            
  
           

              
              
            
            
相關推薦
			   
            
            
            
 

    

    
    
搭建VM的虛擬機器下hadoop叢集環境
     
 
                

前言

大家都知道，Hadoop的部署方式可分為

單機模式偽分散式完全分散式

本篇主要講解的就是完全分散式。

搭建完全分散式的叢集環境，需要多臺的硬體裝置，作為初學者，為了搭建叢集去買多臺電腦，多少有點不現實，所以這裡我採用的是VM虛擬機器，模擬 

  
 

    

    
    
VMware 下Hadoop叢集環境搭建之虛擬機器克隆,Hadoop環境配置
     
 
							
							
							在上一篇我們完成了ContOS網路配置以及JDK的安裝,這一篇將在上一篇的基礎上繼續講解虛擬機器的克隆,hadoop環境搭建





虛擬機器克隆.

利用上一篇已經完成網路配置和jdk安裝的虛擬機器在克隆兩臺虛擬機器. 
1. 將擬機hadoop01關機.  

  
 

    

    
    
Mac下CentOS虛擬機器裝Hadoop叢集、zookeeper叢集、HBase叢集
     
 
                開工前的資源準備1、電腦安裝VMware Fusion，並安裝centos 72、下載需要的工具包一、虛擬機器配置聯網3臺虛擬機器都安裝完畢處於原始狀態，這個時候虛擬機器還是處於不可聯網的狀態，需要配置虛擬機器處於可以聯網，配置方式如下：    設定 -> 網路介面卡  

  
 

    

    
    
vm虛擬機器下完美執行macos（windows執行macos）
     
 
                我的部落格還有一篇這個文章只是我個人記錄當時剛剛寫部落格用的markdown不太會搞導致沒有圖片，現在重新發一下，便於大家操作。

VM上完美執行macos

作者:方辰昱

時間：十月三號

效果圖



簡要步驟

1.下載安裝VM

2.下載映象檔案連結，darwin. 

  
 

    

    
    
VM虛擬機器下安裝centos7並且克隆出多個系統
     
  
 
 首先是虛擬機器的安裝，VMware，我安裝的是VMware workstation 12pro，這個安裝不存在任何的問題所以我就不多講了，大家自己百度下就好。接下來我就具體講講怎麼使用VMware的克隆以及IP的配置吧。 首先，這些的前提是你已經在虛擬機器上安裝了centos7系統。 
 第一步，直 

  
 

    

    
    
搭建多個節點的hadoop叢集環境（CDH）
     
 
                

提示：如果還不瞭解Hadoop的，可以下檢視這篇文章Hadoop生態系統，通過這篇文章，我們可以首先大致瞭解Hadoop及Hadoop的生態系統中的工具的使用場景。

搭建一個分散式的hadoop叢集環境，下面是詳細步驟，使用cdh5 。

一、硬體準備

 

  
 

    

    
    
VM虛擬機器下安裝CentOS7無法上網的解決辦法
     
 
                
為了學習redis以及熟悉linux作業系統就在虛擬機器中安裝了一個CentOS7，首先為了下載redis需要執行
wget http://download.redis.io/releases/redis-2.8.3.tar.gz


報出wget command not  

  
 

    

    
    
linux虛擬機器安裝hadoop叢集（hadoop-2.7.5）
     
 
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.di 

  
 

    

    
    
VM虛擬機器下安裝CentOS_6.5_x64
     
  
 
  在開始Linux的學習之前，我們必須要有一個實驗環境。這裡我選擇了安裝CentOS-6.5-x86_64的Minimal版本，大家也可以選擇安裝其他的Linux發行版。選擇CentOS主要還是因為它比較方便，而且Minimal版是最簡化的版本，可以在安裝好後根據自己的學習需求再來安裝其他的一些軟體 

  
 

    

    
    
linux--VM虛擬機器下配置IP地址(NAT模式)
     
 1.檢視下自己的ip，開啟cmd，然後在小黑框裡面輸入ipconfig。找到 VMware Network Adapter VMnet8，先別關這個視窗。做下一步2.先看一下本機所有網路連線，找到 VMware Network Adapter VMnet8 。這個就是NAT模式下和虛擬機器相關的ip連線。開啟 

  
 

    

    
    
vm虛擬機器下ubuntu 聯網方式
     
 
                
VMware三種網路模式根本區別bridged nat host-only VMware三種網路模式根本區別
提到VMware大家就想起了虛擬機器技術，虛擬機器技術在最近的幾年中得到了廣泛的發展，一些大型網路服務商都開始採用虛擬機器技術，不僅節省了投資成本，更節約了能源的消 

  
 

    

    
    
【搭建Hadoop叢集看一篇成高手系列01】hadoop執行環境的搭建篇——虛擬機器準備
     
  
 
 版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/wx1528159409 
  
 目錄 
 1. 在VMware Workstation下安裝CentOs，新建虛擬機器並安裝VMtools 
 2. 修改虛擬機器IP，聯網並連線Xshell 
 3 

  
 

    

    
    
Hadoop叢集環境搭建（雲伺服器，虛擬機器都適用）
     
 
為了配置方便，為每臺電腦配置一個主機名：

vim /etc/hostname
各個節點中，主節點寫入：master ， 其他從節點寫入：slavexx
如果這樣修改不能生效，則繼續如下操作
vim /etc/cloud/cloud.cfg   做preserve_hostname: true 修改
reb 

  
 

    

    
    
關於VMWare虛擬機器下搭建hadoop叢集練習各虛擬機器間無法ping通主機名的問題
     
 
                
最近看了點hadoop的視訊教程，看起來好流弊的樣子，於是忍不住動手在VMWare上嘗試著搭下hadoop的叢集環境，然而對於初學者的我，上來就遇到了一個問題。。。
在跟著嘗試做ssh免密碼登入的時候，在虛擬機器間直接ping  ip地址可以ping通，但是ping主機名的 

  
 

    

    
    
CentOS6.5虛擬機器下搭建Hadoop偽分散式環境
     
 
							
							
							一、  實驗環境


作業系統：CentOS6.5
Hadoop版本：hadoop-2.7.2 
JDK版本：jdk-8u73-linux-x64




二、  搭建步驟

1.安裝作業系統：使用VitualBox安裝CentOS6.5作業系統，安裝方式選擇為 

  
 

    

    
    
虛擬機器下linux+java+hadoop+hive環境搭建
     
 
                      最近在接觸hadoop的專案，把總結出的配置方法寫出來紀念一下，也方便後來人快速玩轉hadoop。

 一、hadoop安裝：下載release版本hadoop0.20.1，解壓到/home/hadoop/ 。
1.命令列下執行
#mkdir input cp c 

  
 

    

    
    
基於Virtualbox虛擬機器搭建hadoop叢集環境
     
 
                1.1安裝centos7

在centos官網下載centos7映象檔案，在Virtualbox軟體中匯入映象檔案進行安裝，本次由於實驗環境限制，只安裝了三臺centos7虛擬機器，分別命名為hadoop1,hadoop2,hadoop3，為保證三臺虛擬機器能夠正常通訊，三臺 

  
 

    

    
    
Hadoop叢集的搭建（虛擬機器準備，JDK和Hadoop安裝，Hadoop目錄結構）
     
  
 
 
 目錄 
 虛擬機器準備 
 JDK和Hadoop安裝 
 Hadoop的目錄結構： 
 
 虛擬機器準備 
 環境：一臺剛裝好的CentOS，操作如下： 
 [[email protected] ~]# ifconfig
 
 獲取當前主機的ip地址，然後使用shell登入，使用she 

  
 

    

    
    
Hadoop實戰（一） 在VMWare上搭建centos虛擬機器叢集
     
 
                
一、VMware的下載和安裝
下載VMware
安裝VMware：一路Next即可
二、centos的下載和安裝
下載centos
安裝三個centos 64位虛擬機器(master slave1 slave2)  
在搭建Hadoop時，master將會作為namenod 

  
 

    

    
    
從VMware虛擬機器安裝到hadoop叢集環境配置詳細說明
     
 
                
虛擬機器安裝
我安裝的虛擬機器版本是VMware Workstation 8.04，自己電腦上安裝的有的話直接在虛擬機器安裝Linux作業系統，沒有的話這裡有我的一個百度雲網盤虛擬機器安裝共享檔案

虛擬機器的具體安裝不再詳細說明了。  
Linux作業系統安裝除錯