1. 程式人生 > >Hadoop完全分散式搭建流程---超詳細

Hadoop完全分散式搭建流程---超詳細

1.克隆兩個節點

2.修改靜態IP

3.修改主機名:【master(主),slave1(從),slave2(從)】

4.修改IP和主機名的對映:【/etc/hosts】

5.SSH無密登入:

a.修改hostname

$>su root

$>gedit   /etc/sysconfig/network

【HOSTNAME=master】

b.修改hosts檔案

$>gedit   /etc/hosts

【在檔案後追加:IP 主機名:192.168.154.128 master】

c.reboot

d.生成金鑰

$>ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa

【說明:-t設定生成金鑰的演算法,採用的rsa;-P設定密碼,預設為空;-f設定金鑰生成的檔案位置,~/.ssh】

e.生成認證庫

$>cat  ~/.ssh/id_rsa.pub >>  ~/.ssh/authorized_keys

f.修改認證庫許可權為600

$>chmod  600  ~/.ssh/authorized_keys

g.ssh  master

6.解壓相關軟體

$>tar  -zxvf  jdk1.8.xxx.tar.gz

$>tar  -zxvf  hadoop-2.7.3.tar.gz

7.建立軟連線

$>ln  -s  jdk1.8.0_121/  jdk

$>ln  -s  hadoop-2.7.3/  hadoop

8.修改環境變數

$>cd  ~

$>gedit  .bash_profile

   在檔案最後追加以下命令:

#jdk  install

export   JAVA_HOME=/home/hyxy/soft/jdk/jdk

export   PATH=$JAVA_HOME/bin:$PATH

#hadoop   install

export   HADOOP_HOME=/home/hyxy/soft/hadoop/hadoop

export   PATH=$HADOOP_HOME/bin:$HADOOP_HOMR/sbin:$PATH

       $>source   .bash_profile

注意:重新整理完之後,當前會話可用,建議reboot(重啟)

9.修改hadoop配置檔案

      a.core-site.xml

    <property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

 </property>

 <property>

<name>hadoop.tmp.dir</name>

<value>/home/hyxy/tmp/hadoop</value>

</property>

b.hdfs-site.xml

<property>

      <name>dfs.replication</name>

      <value>3</value>

</property>

      c.mapred-site.xml

            <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  <description>

The runtime framework for executing MapReduce jobs.Can be one of local, classic or yarn.

  </description>

               </property>

       d.yarn-site.xml

  <property>

           <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

         <description>A comma separated list of services where service name should only

      contain a-zA-Z0-9_ and can not start with numbers</description>

  </property>

  <property>

    <description>The hostname of the RM.</description>

    <name>yarn.resourcemanager.hostname</name>

    <value>master</value>

  </property>

       e.slaves

  新增datanode節點名稱,以行為準

      slave1

      slave2

       f.hadoop-env.sh

           #配置JAVA_HOME

   【注意:

1).將hosts檔案分發所有從節點:

   $>scp /etc/hosts [email protected]:/etc/

   $>scp /etc/hosts [email protected]:/etc/

2).將hadoop目錄分發到所有從節點

   $>scp -r ~/soft/hadoop/ [email protected]:/home/hyxy/soft

   $>scp -r ~/soft/hadoop/ [email protected]:/home/hyxy/soft

    】

    10.格式化

       a. 刪除hadoop.tmp.dir設定路徑下的所有檔案(所有節點)

       b. 刪除HADOOP_LOG_DIR設定路徑下的日誌檔案(所有節點)

       c. 格式化:

           $>hdfs namenode -format(主節點)

    11.開啟完全分散式

          $>start-all.sh

相關推薦

Hadoop完全分散式搭建流程---詳細

1.克隆兩個節點 2.修改靜態IP 3.修改主機名:【master(主),slave1(從),slave2(從)】 4.修改IP和主機名的對映:【/etc/hosts】 5.SSH無密登入: a.修改hostname $>su root $>gedi

ubantu 16.4 Hadoop 完全分散式搭建

一個虛擬機器    1.以  NAT網絡卡模式   裝載虛擬機器   2.最好將幾個用到的虛擬機器修改主機名,靜態IP     /etc/network/interface,這裡 是 s101 s102  s103 三

Hadoop完全分散式搭建步驟

請在搭建偽分散式的基礎上搭建完全分散式 1、克隆兩臺虛擬機器(點選藍色超連結有如何克隆虛擬機器)。 2、克隆完成之後首先在三臺機器上都分別輸入  $ ifconfig 檢視是否有eth0 如下:是正確的。 【 eth0     &nbs

HDFS高可用的完全分散式搭建流程

HDFS高可用的完全分散式設計架構圖 HDFS的高可用指的是HDFS持續對各類客戶端提供讀、寫服務的能力,因為客戶端對HDFS的讀、寫操作之前都要訪問Namenode伺服器,客戶端只有從Namenode獲取元資料之後才能繼續進行讀、寫。所以HDFS的高可用的關

ubantu 16.4 Hadoop 完全分散式搭建

一個虛擬機器    1.以  NAT網絡卡模式   裝載虛擬機器   2.最好將幾個用到的虛擬機器修改主機名,靜態IP     /etc/network/interface,這裡 是 s101 s102  s103 三臺主機 ubantu,改/etc/hostname檔案   3.安裝ssh     

hadoop完全分散式搭建

1、安裝linux作業系統。 2、配置網路,固定ip。本人一般採用nat模式。 3、關閉防火牆 檢視防火牆狀態 chkconfig iptables --list chkconfig ip6tables --list 臨時關閉防火牆(立即生效) service ipta

hadoop完全分散式搭建HA(高可用)

首先建立5臺虛擬機器(最少三臺),並且做好部署規劃ip地址 主機名 安裝軟體 程序 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 m

Hadoop2.9.0+VMware+ubuntu16.04完全分散式安裝指南-詳細

0.環境概要Linux:Ubuntu 16.04hadoop:Hadoop 2.9.0jdk:1.8.0vmware:14.0 pro1.Linux環境部署1.1第一步配置Vmware NAT網路    vmware虛擬機器的配置,主要是網路配置,選擇NAT網路,Ubuntu

Ubuntu Hadoop 完全分散式搭建

系統:Ubuntu16.04 jdk:jdk1.8.0_101 Hadoop:hadoop2.7.3 首先需要有兩臺以上的計算機,一臺作為Master節點,其他的作為Slave節點,所有的伺服器上都需要配置好jdk的環境, 我這裡準備了兩臺伺服器作為

史上最簡單詳細Hadoop完全分散式叢集搭建

一.安裝虛擬機器環境 Vmware12中文官方版 連結:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼:6rep 啟用祕鑰:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了,只需要不斷點選下

詳細)從零開始安裝與配置hadoop完全分散式環境

強調!!! 使用者名稱稱要相同,否則可能出現稀奇古怪的錯誤!!!(我就因為這個問題,在後面快裝完的時候不得不從頭再來) 原因:Hadoop要求所有機器上Hadoop的部署目錄結構要求相同(因為在啟動時按與主節點相同的目錄啟動其它任務節點),並且都有一

Hadoop分散式完全分散式搭建和測試(詳細版)

安裝 Hadoop 入門學習,快速搭建偽分散式環境。 注:需要下載的安裝包在文章底部,請自行獲取。 1. 修改主機名 vim /etc/hostname vim /etc/hosts reboot reboot 重啟主機使修改配置檔案生效,這裡我

hadoop完全分散式叢集搭建全部流程之四:ssh和指令碼補充

SSH無密碼登入 1)配置ssh:配置ssh無密碼登入主要 是為了方便叢集之間進行通訊,方便運算。 (1)基本語法 ssh 另一臺電腦的ip地址 (2)ssh連線時出現Host key verif

詳細Ubuntu系統下搭建Hadoop完全分散式

1.Hadoop的執行環境介紹hadoop主要有三種執行模式:單機模式、偽分佈模式、完全分佈模式。其中在單機模式下所有3個XML檔案均為空,當配置檔案為空時,Hadoop會完全執行在本地,因為不需要與其他節點互動,單機模式就不使用HDFS,也不載入任何Hadoop的守護程序。

超級無敵詳細使用ubuntu搭建hadoop完全分散式叢集

## 一、軟體準備 1. 安裝VMware 2. 下載ubuntu映象([阿里源ubuntu下載地址](http://mirrors.aliyun.com/ubuntu-releases/))選擇自己適合的版本,以下我使用的是18.04-server版就是沒有桌面的。安裝桌面版如果自己電腦配置不行的

使用SpringBoot+Dubbo 搭建一個簡單的分散式服務,詳細,新手都能看懂 !

使用 SpringBoot+Dubbo 搭建一個簡單分散式服務 實戰之前,先來看幾個重要的概念 開始實戰之前,我們先來簡單的瞭解一下這樣幾個概念:Dubbo、RPC、分散式、由於本文的目的是帶大家使用SpringBoot+Dubbo 搭建一個簡單的分散式服務,所以這些概念我只會簡

Hadoop完全分散式叢集的搭建

如果前一章的內容你看懂了,那麼請先刪除之前搭建的三個新伺服器重新克隆三個!!!(博主絕對不是故意為之,真的只是忘記了?) Hadoop完全分散式叢集的搭建 1.分散式叢集搭建規劃 2.叢集的配置(許可權問題,命令執行位置問題請自行注意) 2.1

Hadoop筆記之六——Hadoop2.x 完全分散式搭建

1、準備伺服器,並規劃伺服器角色     3臺 虛擬機器Linux     s-hadoop01.lele.com   4G 記憶體 40G (機子配置較差 1G) NameNode  ResourceManager   DataNode  NodeManager     

centos下hadoop-2.6.0完全分散式搭建

一、Hadoop執行模式: Hadoop有三種執行模式,分別如下: 單機(非分散式)模式 偽分散式(用不同程序模仿分散式執行中的各類節點)模式 完全分散式模式 注:前兩種可以在單機執行,最後一種用於真

CentOS6.5搭建hadoop完全分散式叢集

搭建完全分散式叢集-------------------------------前提條件:已經按照之前的步驟搭建完偽分散式。https://blog.csdn.net/weixin_42006411/article/details/80500217搭建hadoop偽分散式連結