hadoop2.8+centos7叢集搭建

本叢集搭建於以下軟體：

VMware Workstation12 Pro

SecureCRT 7.3

Xftp 5

CentOS-7-x86_64-Everything-1611.iso

hadoop-2.8.0.tar.gz

jdk-8u121-linux-x64.tar.gz

這裡的叢集是
192.168.195.132 Master、Namenode、SecondNameNode、DataNode
192.168.195.133 Slaver1 DataNode
192.168.195.134Slaver2 DataNode

一、虛擬機器的安裝
VMware Workstation Pro的安裝步驟不再贅述，next、next就行，只做Centos的安裝步驟詳解
1.VMware Workstation12 Pro選擇新建虛擬機器

2.選擇典型
這裡寫圖片描述

3.安裝程式光碟映像檔案，選擇你的CentosISO檔案，下一步
這裡寫圖片描述

4.輸入新建的虛擬機器名：Master|Slaver1|Slaver2
這裡寫圖片描述
5.分配磁碟大小，指定檔案拆分型別，下一步

6.網路選擇橋接模式、複製主機實體地址，記憶體和磁碟根據自己的條件選擇就好了，關閉
備註：選擇橋接模式能虛擬出一臺和真是主機沒有多大區別的虛擬機器
這裡寫圖片描述
7.建立後開啟此虛擬機器

8.選擇Install Centos 7
這裡寫圖片描述
9.Next、Next、Next我選擇的是最小化安裝，在安裝的過程中設定自己的root密碼，直到下面這一步

10.Login，修改主機名

hostnamectl --static set 
-hostname <host-name>

之後登出重新登入，就可以看到主機名已經成功地被修改了
這裡寫圖片描述
11.修改網絡卡

 vi /etc/sysconfig/network-scripts/ifcfg-ens33

把Onboot修改為Yes
這裡寫圖片描述

這裡寫圖片描述

：wq儲存，然後service network restart
這裡寫圖片描述

12.檢視IP地址：ifconfig

這裡寫圖片描述
從圖中得到IP地址：172.17.11.110，子網掩碼：２５５．２５５．２５５．０
13.檢視ＤＮＳ：

nmcli dev show|grep DNS

這裡寫圖片描述

14.檢視閘道器：

route -n

這裡寫圖片描述

15.修改網絡卡

 vi /etc/sysconfig/network-scripts 
/ifcfg-ens33

修改靜態IP地址，新增IP地址、子網掩碼、閘道器、DNS

這裡寫圖片描述

儲存，
16.重啟閘道器
service network restart
這裡寫圖片描述

17.檢視防火牆狀態

systemctl status firewalld

我這裡顯示防火牆沒有關閉

這裡寫圖片描述

18.關閉防火牆

systemctl stop firewalld

禁止防火牆

systemctl disable firewalld

這裡寫圖片描述
19.進位制Selinux

vi /etc/sysconfig/selinux

這裡寫圖片描述

其他的機器按照一樣的步驟來，虛擬機器安裝準備到此結束
二、免密碼登入

分別在每一臺機器上執行

ssh-keygen -t rsa

一路回車，然後到/root/.ssh資料夾下
這裡寫圖片描述

在Master上將id_rsa.pub重定向到authorized_keys

cat id_rsa.pub>>authorized_keys

將Slaver1/Slaver2的id_rsa.pub追加到authorized_keys

ssh slaver1的IP地址 cat /root/.ssh/id_rsa.pub>>authorized_keys

檢視id_rsa.pub中的內容：

這裡寫圖片描述
將authorized_keys分發到Slaver1、Slaver2的/root/.ssh目錄下

scp authorized_keys slaver1/slaver2的IP地址 /root/.ssh/

這裡寫圖片描述

可以試一下ssh slaver1/slaver2

這裡寫圖片描述

可以看到現在Master上登入在Slaver1、Slaver2並不需要手動輸入密碼了

如果不能直接ssh slavername,需要先手動配置一下master 上的/etc/hosts檔案
然後再通過scp命令分發到每臺從節點的對應位置
這裡寫圖片描述

三、JDK的安裝

通過xftp連結虛擬機器，新建連結

這裡寫圖片描述

在Windows中找到JDK檔案，然後雙擊傳輸到Centos中/usr/local路徑下
這裡寫圖片描述

在終端中解壓：

tar -xvf jdk-8u121-linux-x64.tar.gz

這裡寫圖片描述

然後將解壓後的資料夾重新命名為java

配置環境變數：

vi /etc/profile
在profile檔案末尾追加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

儲存，

source /etc/profile

在終端輸入：java -version,出現以下內容說明JDK安裝成功

java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

最後通過scp命令將整個資料夾分發到從節點Slaver1、Slaver2上

四、Hadoop的安裝

1.通過xftp將Hadoop傳到master:/usr/local路徑下：
然後解壓，將解壓後的檔案重新命名為hadoop,配置環境變數：
vi /etc/profile,在檔案末尾追加：

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_HOME=$HADOOP_HOME/etc/hadoop/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile
使配置檔案生效

2.修改配置檔案

vi /usr/local/hadoop/etc/hadoop-env.sh檔案新增

export JAVA_HOME=/usr/local/java/jdk1.8.0_121

vi /usr/local/hadoop/etc/yarn-env.sh檔案新增

export JAVA_HOME=/usr/local/java/jdk1.8.0_121

配置core-site.xml

<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.195.132:9000</value>
 </property>
 <property>
 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>file:/usr/local/hadoop/tmp</value>
 <description>Abase for other temporary directories.</description>
 </property>
 <property>
 <name>hadoop.proxyuser.root.hosts</name>
 <value>*</value>
 </property>
 <property>
 <name>hadoop.proxyuser.root.groups</name>
 <value>*</value>
 </property> 
</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
  </property>
  <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
             <name>yarn.resourcemanager.address</name>
             <value>192.168.195.132:8032</value>
  </property>
  <property>
             <name>yarn.resourcemanager.scheduler.address</name>
             <value>192.168.195.132:8030</value>
  </property>
  <property>
             <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>192.168.195.132:8035</value>
  </property>
  <property>
             <name>yarn.resourcemanager.admin.address</name>
             <value>192.168.195.132:8033</value>
  </property>
  <property>
             <name>yarn.resourcemanager.webapp.address</name>
             <value>192.168.195.132:8088</value>
  </property>
</configuration>

修改hdfs-site.xml檔案

<configuration>
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/hadoop/hdfs/name</value>
 </property>
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/local/hadoop/hdfs/data</value>
 </property>
 <property>
 <name>dfs.replication</name>
 <value>3</value>
 </property>
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>192.168.195.132:9001</value>
 </property>
 <property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
 </property> 
</configuration>

1
2
相關推薦

hadoop2.8+centos7叢集搭建

本叢集搭建於以下軟體：VMware Workstation12 Pro SecureCRT 7.3 Xftp 5 CentOS-7-x86_64-Everything-1611.iso hadoop-2.8.0.tar.gz jdk-8u121-linux-x64.

Hadoop 偽分散式環境搭建——hadoop2.8+centos7（零基礎&完整版）

引言：環境：一、安裝虛擬機器在windows系統中安裝VMware14pro，直接下載安裝，無需贅述 ps：如有條件，請購買使用二、安裝linux作業系統 CentOS 是一個基於Red Hat Linux 提供的可自由使用

Ubuntu + Hadoop2.7.3叢集搭建

先搭建Hadoop偽分佈： Ubuntu + Hadoop2.7.3偽分佈搭建 1.修改/etc/hosts檔案，IP對映內容如下：注：10.13.7.72為master節點IP，10.13.7.71為slave節點IP。（根據自己的IP地址設定） 2.修改maste

Hadoop2.8.5叢集完整配置

先配一個單個的hadoop叢集（虛擬機器有namenode、datanode ）一、先安裝一臺乾淨的虛擬機器（Centos6.10） 1、先解決各種網路配置 2、主機名與IP對映 3、安裝jdk 4、免密設定（具體的去我部落格裡面找一下） 1）安裝jre或jd

Hadoop2.7.4叢集搭建

HDFS：分散式檔案系統 MAPREDUCE：分散式運算程式開發框架 HIVE：基於HADOOP的分散式資料倉庫，提供基於SQL的查詢資料操作 HBASE：基於HADOOP的分散式海量資料庫

k8s 1.8.10 叢集搭建

k8s 1.8.10 Build 1.環境資訊 OS–>centos7.2 kubernetes–>1.8.10 flannel–>0.9.1 docker–>17.12.0-ce etcd–>3.2.12 da

Hadoop2.7.6叢集搭建

首先，搭建的準備工作：Linux（CentOS）、xshell、至少8G記憶體。建立幾個虛擬機器，一主多從，每一個建立的時候，在最後安裝前的設定裡面，設定網路和主機名的兩個地方，一個是IPv4那裡，設定好IP地址，埠號和閘道器；還有一個是在常規那裡勾選上第一個。每一個建立完，都要檢測是否能

Hadoop2.6.0叢集搭建

1. 基本概念 2. 基礎配置 2.1 三臺伺服器（可以使用虛擬機器）系統：Ubuntu14.04 64位 Server版 Jdk版本：jdk1.7.0_79 Hadoop版本： 2.6.0 Zookeeper版本： 3.4.6 2.

CentOS6.5環境部署Hadoop2.8.1叢集（HA）

部署前提 1、三臺主機安裝JDK1.7 2、關閉防火牆、selinux 3、配置靜態IP 一、所用軟體 hadoop-2.8.1 zookeeper-3.4.6 二、機器規劃(對應關係寫入到/etc/hosts) IP HOS

centos7下Hadoop2.8.4全分佈搭建之HDFS叢集搭建（一）

1)搭建前的準備注意：（以下操作可以先配置一臺，然後通過scp命令傳送到其他兩臺虛擬機器上傳送到其他機器 scp -r 主機名: 注意:載入環境變數 source /etc/profile

Centos7.5搭建Hadoop2.8.5完全分散式叢集

一、基礎環境設定 1. 準備4臺客戶機（VMware虛擬機器）系統版本：Centos7.5 192.168.208.128 ——Master 192.168.208.129 ——Slaver-1 192.168.208.130 ——Slaver-2 192.168.208.130 ——Slaver-3

03. 搭建Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)

org 配置文件 java profile path 同時 hadoop2 scp 運行一、下載安裝scala 1、官網下載 2、spar01和02都建立/opt/scala目錄，解壓tar -zxvf scala-2.12.8.tgz 3、配置環境變量　　vi /et

centos7 hadoop HA高可用叢集搭建（ hadoop2.7 zookeeper3.4 ）

目錄七、總結上篇文章寫了如何用ssh免密登入，當然這些操作都是在hadoop賬號上的操作，包括這篇文章也是一樣三臺主機一、伺服器環境主機名 IP 使用者名稱密碼安裝目錄 node1 192.168.31.

centos7+hadoop 2.8 的多節點叢集搭建

1、叢集IP 192.168.2.218 hadoop-slave-1 192.168.2.4 hadoop-master 2、java 選用自帶的java 1.7.0. openjdk 關於java版本和hadoop版本的搭配可以參考hadoop官方wiki htt

hadoop2.7.1在vmware上3臺centos7虛擬機器上的完全分散式叢集搭建

叢集架構 centos7的安裝安裝java hadoop全分佈 ssh無密碼登入 hadoop叢集正常啟動測試以下內容均屬個人理解，如有偏差，望大家諒解。叢集架構 3臺虛擬機器都在同一個區域網中，網段是192.168.10.0，子網掩碼是

centos7 搭建ha(高可用)hadoop2.7.3叢集

寫在前面作為一個單體應用開發人員對於理解分散式應用和微服務的理論還可以。但是部署分散式環境來說還是一個挑戰。最近在學習hadoop，正也把學習的東西分享出來，希望幫助感興趣的人。前面一章寫了centos7搭建hadoop叢集再跟著做本章實驗前建議初學

Linux安裝Spark叢集(CentOS7+Spark2.1.1+Hadoop2.8.0)

[plain] view plain copy print?{SPARK_HOME}/bin  </span></span></li></ol></div><pre code_snippet_id="2398

hadoop2.8.4+spark2.3.1叢集搭建

1、安裝虛擬機器和linux系統（本文示例Ubuntu16.04 x86_64系統）（此處略過，詳見《安裝linux虛擬機器》）為了更好使用，記得安裝virtual box的增強功能

centos7中基於hadoop安裝hive(CentOS7+hadoop2.8.0+hive2.1.1)

root drive notepad lds opts 裝配 -- 3.2 window 1下載hive 下載地址：http://hive.apache.org/downloads.html 點擊上圖的Download release now! 如圖：

Centos7安裝Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)

rem unable 分布式文件 createdb obb 很多 bsp reat .cn 註意：本文只講Sqoop1.4.6的安裝。和hive一樣，sqoop只需要在hadoop的namenode上安裝即可。本例安裝sqoop的機器上已經安裝了hdoop2.8.0和h

hadoop2.8+centos7叢集搭建

相關推薦