Hadoop完全分散式搭建流程---超詳細
1.克隆兩個節點
2.修改靜態IP
3.修改主機名:【master(主),slave1(從),slave2(從)】
4.修改IP和主機名的對映:【/etc/hosts】
5.SSH無密登入:
a.修改hostname
$>su root
$>gedit /etc/sysconfig/network
【HOSTNAME=master】
b.修改hosts檔案
$>gedit /etc/hosts
【在檔案後追加:IP 主機名:192.168.154.128 master】
c.reboot
d.生成金鑰
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
【說明:-t設定生成金鑰的演算法,採用的rsa;-P設定密碼,預設為空;-f設定金鑰生成的檔案位置,~/.ssh】
e.生成認證庫
$>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
f.修改認證庫許可權為600
$>chmod 600 ~/.ssh/authorized_keys
g.ssh master
6.解壓相關軟體
$>tar -zxvf jdk1.8.xxx.tar.gz
$>tar -zxvf hadoop-2.7.3.tar.gz
7.建立軟連線
$>ln -s jdk1.8.0_121/ jdk
$>ln -s hadoop-2.7.3/ hadoop
8.修改環境變數
$>cd ~
$>gedit .bash_profile
在檔案最後追加以下命令:
#jdk install
export JAVA_HOME=/home/hyxy/soft/jdk/jdk
export PATH=$JAVA_HOME/bin:$PATH
#hadoop install
export HADOOP_HOME=/home/hyxy/soft/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOMR/sbin:$PATH
$>source .bash_profile
注意:重新整理完之後,當前會話可用,建議reboot(重啟)
9.修改hadoop配置檔案
a.core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hyxy/tmp/hadoop</value>
</property>
b.hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
c.mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>
The runtime framework for executing MapReduce jobs.Can be one of local, classic or yarn.
</description>
</property>
d.yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>A comma separated list of services where service name should only
contain a-zA-Z0-9_ and can not start with numbers</description>
</property>
<property>
<description>The hostname of the RM.</description>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
e.slaves
新增datanode節點名稱,以行為準
slave1
slave2
f.hadoop-env.sh
#配置JAVA_HOME
【注意:
1).將hosts檔案分發所有從節點:
$>scp /etc/hosts [email protected]:/etc/
$>scp /etc/hosts [email protected]:/etc/
2).將hadoop目錄分發到所有從節點
$>scp -r ~/soft/hadoop/ [email protected]:/home/hyxy/soft
$>scp -r ~/soft/hadoop/ [email protected]:/home/hyxy/soft
】
10.格式化
a. 刪除hadoop.tmp.dir設定路徑下的所有檔案(所有節點)
b. 刪除HADOOP_LOG_DIR設定路徑下的日誌檔案(所有節點)
c. 格式化:
$>hdfs namenode -format(主節點)
11.開啟完全分散式
$>start-all.sh
相關推薦
Hadoop完全分散式搭建流程---超詳細
1.克隆兩個節點 2.修改靜態IP 3.修改主機名:【master(主),slave1(從),slave2(從)】 4.修改IP和主機名的對映:【/etc/hosts】 5.SSH無密登入: a.修改hostname $>su root $>gedi
ubantu 16.4 Hadoop 完全分散式搭建
一個虛擬機器 1.以 NAT網絡卡模式 裝載虛擬機器 2.最好將幾個用到的虛擬機器修改主機名,靜態IP /etc/network/interface,這裡 是 s101 s102 s103 三
Hadoop完全分散式搭建步驟
請在搭建偽分散式的基礎上搭建完全分散式 1、克隆兩臺虛擬機器(點選藍色超連結有如何克隆虛擬機器)。 2、克隆完成之後首先在三臺機器上都分別輸入 $ ifconfig 檢視是否有eth0 如下:是正確的。 【 eth0 &nbs
HDFS高可用的完全分散式搭建流程
HDFS高可用的完全分散式設計架構圖 HDFS的高可用指的是HDFS持續對各類客戶端提供讀、寫服務的能力,因為客戶端對HDFS的讀、寫操作之前都要訪問Namenode伺服器,客戶端只有從Namenode獲取元資料之後才能繼續進行讀、寫。所以HDFS的高可用的關
ubantu 16.4 Hadoop 完全分散式搭建
一個虛擬機器 1.以 NAT網絡卡模式 裝載虛擬機器 2.最好將幾個用到的虛擬機器修改主機名,靜態IP /etc/network/interface,這裡 是 s101 s102 s103 三臺主機 ubantu,改/etc/hostname檔案 3.安裝ssh
hadoop完全分散式搭建
1、安裝linux作業系統。 2、配置網路,固定ip。本人一般採用nat模式。 3、關閉防火牆 檢視防火牆狀態 chkconfig iptables --list chkconfig ip6tables --list 臨時關閉防火牆(立即生效) service ipta
hadoop完全分散式搭建HA(高可用)
首先建立5臺虛擬機器(最少三臺),並且做好部署規劃ip地址 主機名 安裝軟體 程序 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 m
Hadoop2.9.0+VMware+ubuntu16.04完全分散式安裝指南-超詳細
0.環境概要Linux:Ubuntu 16.04hadoop:Hadoop 2.9.0jdk:1.8.0vmware:14.0 pro1.Linux環境部署1.1第一步配置Vmware NAT網路 vmware虛擬機器的配置,主要是網路配置,選擇NAT網路,Ubuntu
Ubuntu Hadoop 完全分散式搭建
系統:Ubuntu16.04 jdk:jdk1.8.0_101 Hadoop:hadoop2.7.3 首先需要有兩臺以上的計算機,一臺作為Master節點,其他的作為Slave節點,所有的伺服器上都需要配置好jdk的環境, 我這裡準備了兩臺伺服器作為
史上最簡單詳細的Hadoop完全分散式叢集搭建
一.安裝虛擬機器環境 Vmware12中文官方版 連結:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼:6rep 啟用祕鑰:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了,只需要不斷點選下
(超詳細)從零開始安裝與配置hadoop完全分散式環境
強調!!! 使用者名稱稱要相同,否則可能出現稀奇古怪的錯誤!!!(我就因為這個問題,在後面快裝完的時候不得不從頭再來) 原因:Hadoop要求所有機器上Hadoop的部署目錄結構要求相同(因為在啟動時按與主節點相同的目錄啟動其它任務節點),並且都有一
Hadoop偽分散式、完全分散式搭建和測試(詳細版)
安裝 Hadoop 入門學習,快速搭建偽分散式環境。 注:需要下載的安裝包在文章底部,請自行獲取。 1. 修改主機名 vim /etc/hostname vim /etc/hosts reboot reboot 重啟主機使修改配置檔案生效,這裡我
hadoop完全分散式叢集搭建全部流程之四:ssh和指令碼補充
SSH無密碼登入 1)配置ssh:配置ssh無密碼登入主要 是為了方便叢集之間進行通訊,方便運算。 (1)基本語法 ssh 另一臺電腦的ip地址 (2)ssh連線時出現Host key verif
詳細Ubuntu系統下搭建Hadoop完全分散式
1.Hadoop的執行環境介紹hadoop主要有三種執行模式:單機模式、偽分佈模式、完全分佈模式。其中在單機模式下所有3個XML檔案均為空,當配置檔案為空時,Hadoop會完全執行在本地,因為不需要與其他節點互動,單機模式就不使用HDFS,也不載入任何Hadoop的守護程序。
超級無敵詳細使用ubuntu搭建hadoop完全分散式叢集
## 一、軟體準備 1. 安裝VMware 2. 下載ubuntu映象([阿里源ubuntu下載地址](http://mirrors.aliyun.com/ubuntu-releases/))選擇自己適合的版本,以下我使用的是18.04-server版就是沒有桌面的。安裝桌面版如果自己電腦配置不行的
使用SpringBoot+Dubbo 搭建一個簡單的分散式服務,超詳細,新手都能看懂 !
使用 SpringBoot+Dubbo 搭建一個簡單分散式服務 實戰之前,先來看幾個重要的概念 開始實戰之前,我們先來簡單的瞭解一下這樣幾個概念:Dubbo、RPC、分散式、由於本文的目的是帶大家使用SpringBoot+Dubbo 搭建一個簡單的分散式服務,所以這些概念我只會簡
Hadoop完全分散式叢集的搭建
如果前一章的內容你看懂了,那麼請先刪除之前搭建的三個新伺服器重新克隆三個!!!(博主絕對不是故意為之,真的只是忘記了?) Hadoop完全分散式叢集的搭建 1.分散式叢集搭建規劃 2.叢集的配置(許可權問題,命令執行位置問題請自行注意) 2.1
Hadoop筆記之六——Hadoop2.x 完全分散式搭建
1、準備伺服器,並規劃伺服器角色 3臺 虛擬機器Linux s-hadoop01.lele.com 4G 記憶體 40G (機子配置較差 1G) NameNode ResourceManager DataNode NodeManager
centos下hadoop-2.6.0完全分散式搭建
一、Hadoop執行模式: Hadoop有三種執行模式,分別如下: 單機(非分散式)模式 偽分散式(用不同程序模仿分散式執行中的各類節點)模式 完全分散式模式 注:前兩種可以在單機執行,最後一種用於真
CentOS6.5搭建hadoop完全分散式叢集
搭建完全分散式叢集-------------------------------前提條件:已經按照之前的步驟搭建完偽分散式。https://blog.csdn.net/weixin_42006411/article/details/80500217搭建hadoop偽分散式連結