1. 程式人生 > >hadoop叢集環境搭建

hadoop叢集環境搭建

和單機環境相比,叢集環境有一些不同,這裡以兩個節點為例

master:10.1.108.64

slave1:10.1.108.63

namenode:master

datanode:master,slave1

resourcenode:master

1./etc/hosts如下

[[email protected] hadoop-2.8.0]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.1.108.64 master
10.1.108.63 slave1

2.hdfs-site.xml中replication,單節點的時候是1,這裡要改成2

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

3.修改etc/hadoop/slaves,如下:

[[email protected] hadoop-2.8.0]# cat etc/hadoop/slaves 
master
slave1

4.修改etc/hadoop/allnodes,如下:

[[email protected]
hadoop-2.8.0]# cat etc/hadoop/allnodes master

5.將master的所有配置檔案複製到slave1,注意slave1的檔案路徑必須和master一樣

6.在slave1上,修改hdfs-site-xml,如下,並建立對應目錄,後續增加其他slave,也不能使用之前別人用的目錄,需要新增

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/root/hadoop/hdfs/data/slave1</value>
</property>

7.設定master可以免密登陸slave1,如下

scp /root/.ssh/authorized_keys [email protected]:/root/.ssh

8.slave1上也需要執行格式化命令,效果和master一樣,如下

./bin/hdfs namenode -format

9.在master上,先停止服務,再啟動服務,命令如下:

./sbin/stop-all.sh
./sbin/start-all.sh

10.在master上檢視節點,如下:

[[email protected] hadoop-2.8.0]# jps
9506 NodeManager
9045 DataNode
9237 SecondaryNameNode
9401 ResourceManager
8939 NameNode
9871 Jps
[[email protected] hadoop-2.8.0]# 

在slave1上檢視節點,如下:

[[email protected] hdfs]# jps
2529 NodeManager
2683 Jps
2415 DataNode
[[email protected] hdfs]# 

11.在網頁端檢視節點,如下,顯示為主和備:

12.在50070下檢視datanode,如下:

相關推薦

大資料作業(一)基於docker的hadoop叢集環境搭建

主要是根據廈門大學資料庫實驗室的教程(http://dblab.xmu.edu.cn/blog/1233/)在Ubuntu16.04環境下進行搭建。 一、安裝docker(Docker CE) 根據docker官網教程(https://docs.docker.

Hadoop叢集環境搭建(雲伺服器,虛擬機器都適用)

為了配置方便,為每臺電腦配置一個主機名: vim /etc/hostname 各個節點中,主節點寫入:master , 其他從節點寫入:slavexx 如果這樣修改不能生效,則繼續如下操作 vim /etc/cloud/cloud.cfg 做preserve_hostname: true 修改 reb

hadoop叢集環境搭建之偽分散式叢集環境搭建

搭建叢集的模式有三種 1.偽分散式:在一臺伺服器上,啟動多個執行緒分別代表多個角色(因為角色在叢集中使用程序表現的) 2.完全分散式:在多臺伺服器上,每臺伺服器啟動不同角色的程序,多臺伺服器構成叢集 node01:NameNode node02:

VMware 下Hadoop叢集環境搭建之虛擬機器克隆,Hadoop環境配置

在上一篇我們完成了ContOS網路配置以及JDK的安裝,這一篇將在上一篇的基礎上繼續講解虛擬機器的克隆,hadoop環境搭建 虛擬機器克隆. 利用上一篇已經完成網路配置和jdk安裝的虛擬機器在克隆兩臺虛擬機器. 1. 將擬機hadoop01關機.

CDH版本Hadoop叢集環境搭建詳解

1、CDH版本hadoop重新編譯 1.1 為什麼要編譯? 由於cdh給出的hadoop的安裝包並沒有提供帶C程式訪問的介面,所以我們在使用本地庫(本地庫可以用來做壓縮,以及支援C程式等等)的時候就會出問題,所以一般需要自己重新編譯。 1.2 編譯環境的準備

Hadoop叢集環境搭建 與Hdfs

Hadoop部分 一、修改Hostname 命令:[[email protected] ~] vi /etc/sysconfig/network  開啟檔案後,(每個虛擬機器主機名不同) NETWORKING=yes #使用網路 HOSTNAME=hadoop0

大資料Hadoop叢集環境搭建(五)

Hadoop環境搭建Hadoop本地模式安裝 Hadoop部署模式 Hadoop部署模式有:本地模式、偽分佈模式、完全分散式模式。 區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模組執行在幾個JVM程序、幾個機器。 一、本地模

大資料Hadoop叢集環境搭建(四)

安裝JDK 安裝Java JDK 1、 檢視是否已經安裝了java JDK。 [[email protected] Desktop]# java –version 注意:Hadoop機器上的JDK,最好是Oracle的Java JDK,不然會有一些問題,比如可能沒

大資料Hadoop叢集環境搭建(三)

在配置hadoop環境中 一、修改Hostname 1. 臨時修改hostname [[email protected] localhost]# hostname hadoop 這種修改方式,系統重啟後就會失效。 2、 永久修改hostname 想永久修改,應

大資料Hadoop叢集環境搭建(二)

第一部分 Linux環境安裝 一、Vmware網路模式介紹 參考:http://blog.csdn.net/collection4u/article/details/14127671 二、Linux環境VMware14與CenterOs7安裝版本 參考:https://blo

大資料Hadoop叢集環境搭建(一)

前言 Hadoop在大資料技術體系中的地位至關重要,Hadoop是大資料技術的基礎,對Hadoop基礎知識的掌握的紮實程度,會決定在大資料技術道路上走多遠。 這是一篇入門文章,Hadoop的學習方法很多,網上也有很多學習路線圖。本文的思路是:以安裝部署Apache Hadoop2.x

hadoop叢集環境搭建的血淚史

寒假從老家回來之後就著手hadoop叢集環境的搭建,預期兩天干完,最後花了四天才搞定。一方面是寒假裡比較懶散,做事沒什麼效率,另一方面也的確是受了誤導,走了不少彎路。網上hadoop叢集環境搭建的文章一搜一大把,但真正靠譜的沒幾篇,要麼是hadoop版本太老,要麼是步驟有缺

hadoop叢集環境搭建

和單機環境相比,叢集環境有一些不同,這裡以兩個節點為例 master:10.1.108.64 slave1:10.1.108.63 namenode:master datanode:master,slave1 resourcenode:master 1./etc/

搭建Hadoop叢集環境時遇到的一些問題

最近在學習搭建hadoop叢集環境,在搭建的過程中遇到很多問題,在這裡做一些記錄。1. SSH相關的問題  問題一: ssh: connect to host localhost port 22: Connection refused  問題二: 遠端連線需要輸入密碼。  參照以下部落格即可解決:    Li

在Linux的Centos6.5搭建hadoop叢集環境

Centos6.5搭建hadoop叢集環境 先概括一下整體思路 安裝centos6.5主機 關閉防火牆和selinux 配置網路 時間同步 ssh無密碼登入設定 安裝jdk 安裝hadoop 啟動 wordcount測試 安

Hadoop最完整分散式叢集環境搭建

分散式環境搭建之環境介紹 之前我們已經介紹瞭如何在單機上搭建偽分散式的Hadoop環境,而在實際情況中,肯定都是多機器多節點的分散式叢集環境,所以本文將簡單介紹一下如何在多臺機器上搭建Hadoop的分散式環境。 我這裡準備了三臺機器,IP地址如下: 192.16

hadoop分散式叢集環境搭建

參考 http://www.cnblogs.com/zhijianliutang/p/5736103.html   1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2

搭建多個節點的hadoop叢集環境(CDH)

提示:如果還不瞭解Hadoop的,可以下檢視這篇文章Hadoop生態系統,通過這篇文章,我們可以首先大致瞭解Hadoop及Hadoop的生態系統中的工具的使用場景。 搭建一個分散式的hadoop叢集環境,下面是詳細步驟,使用cdh5 。 一、硬體準備

CentOS 6.5 hadoop 2.7.3 叢集環境搭建

CentOS 6.5 hadoop 2.7.3 叢集環境搭建 所需硬體,軟體要求 使用 virtualbox 構建三臺虛擬機器模擬真實物理環境 作業系統:CentOS6.5 主機列表: master ip: 192.168.3.171 slav

Hadoop叢集搭建(二)配置JAVA環境

軟體環境 作業系統 CentOS 6.4 64bit (Basic Server + 桌面環境) 虛擬機器 VMware Workstation 12.0