CentOS7下搭建hadoop2.7.3完全分散式
這裡搭建的是3個節點的完全分散式,即1個nameNode,2個dataNode,分別如下:
CentOS-master nameNode 192.168.11.128
CentOS-node1 dataNode 192.168.11.131
CentOS-node2 dataNode 192.168..11.132
1.首先建立好一個CentOS虛擬機器,將它作為主節點我這裡起名為CentOS-master,起什麼都行,不固定要求
2.VMware中開啟虛擬機器,輸入java -version,檢查是否有JDK環境,不要用系統自帶的openJDK版本,要自己安裝的版本
3.輸入 systemctl status firewalld.service ,若如圖,防火牆處於running狀態,則執行第4和第5步,否則直接進入第6步
4.輸入 systemctl stop firewalld.service ,關閉防火牆
5.輸入 systemctl disable firewalld.service ,禁用防火牆
6.輸入 mkdir /usr/local/hadoop 建立一個hadoop的資料夾
7.將hadoop的tar包放到剛建立好的目錄
8.進入hadoop目錄,輸入 tar -zxvf hadoop-2.7.3.tar.gz 解壓tar包
9.輸入 vi /etc/profile ,配置環境變數
10.加入如下內容,儲存並退出
HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3/
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
11.輸入 . /etc/profile ,使環境變數生效
12.任意目錄輸入 hado ,然後按Tab,如果自動補全為hadoop,則說明環境變數配的沒問題,否則檢查環境變數哪出錯了
13.建立3個之後要用到的資料夾,分別如下:
mkdir /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data
14.進入hadoop解壓後的 /etc/hadoop 目錄,裡面存放的是hadoop的配置檔案,接下來要修改這裡面一些配置檔案
15.有2個.sh檔案,需要指定一下JAVA的目錄,首先輸入 vi hadoop-env.sh 修改配置檔案
16.將原有的JAVA_HOME註釋掉,根據自己的JDK安裝位置,精確配置JAVA_HOME如下,儲存並退出
export JAVA_HOME=/usr/local/java/jdk1.8.0_102/
17.輸入 vi yarn-env.sh 修改配置檔案
18.加入如下內容,指定JAVA_HOME,儲存並退出
export JAVA_HOME=/usr/local/java/jdk1.8.0_102
19.輸入 vi core-site.xml 修改配置檔案
20.在configuration標籤中,新增如下內容,儲存並退出,注意這裡配置的hdfs:master:9000是不能在瀏覽器訪問的
<property>
<name> fs.default.name </name>
<value>hdfs://master:9000</value>
<description>指定HDFS的預設名稱</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<description>HDFS的URI</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>節點上本地的hadoop臨時資料夾</description>
</property>
21.輸入 vi hdfs-site.xml 修改配置檔案
22.在configuration標籤中,新增如下內容,儲存並退出
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
<description>namenode上儲存hdfs名字空間元資料 </description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
<description>datanode上資料塊的物理儲存位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本個數,預設是3,應小於datanode機器數量</description>
</property>
23.輸入 cp mapred-site.xml.template mapred-site.xml 將mapred-site.xml.template檔案複製到當前目錄,並重命名為mapred-site.xml
24.輸入 vi mapred-site.xml 修改配置檔案
25.在configuration標籤中,新增如下內容,儲存並退出
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>指定mapreduce使用yarn框架</description>
</property>
26.輸入 vi yarn-site.xml 修改配置檔案
27.在configuration標籤中,新增如下內容,儲存並退出
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
<description>指定resourcemanager所在的hostname</description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>
NodeManager上執行的附屬服務。
需配置成mapreduce_shuffle,才可執行MapReduce程式
</description>
</property>
28.輸入 vi slaves 修改配置檔案
29.將localhost刪掉,加入如下內容,即dataNode節點的主機名
node1
node2
30.將虛擬機器關閉,再複製兩份虛擬機器,重新命名為如下,注意這裡一定要關閉虛擬機器,再複製
31.將3臺虛擬機器都開啟,後兩臺複製的虛擬機器開啟時,都選擇“我已複製該虛擬機器”
32.在master機器上,輸入 vi /etc/hostname,將localhost改為master,儲存並退出
33.在node1機器上,輸入 vi /etc/hostname,將localhost改為node1,儲存並退出
34.在node2機器上,輸入 vi /etc/hostname,將localhost改為node2,儲存並退出
35.在三臺機器分別輸入 vi /etc/hosts 修改檔案,其作用是將一些常用的網址域名與其對應的IP地址建立一個關聯,當用戶在訪問網址時,系統會首先自動從Hosts檔案中尋找對應的IP地址
36.三個檔案中都加入如下內容,儲存並退出,注意這裡要根據自己實際IP和節點主機名進行更改,IP和主機名中間要有一個空格
192.168.11.128 master
192.168.11.131 node1
192.168.11.132 node2
37.在master機器上輸入 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 建立一個無密碼的公鑰,-t是型別的意思,dsa是生成的金鑰型別,-P是密碼,’’表示無密碼,-f後是祕鑰生成後儲存的位置
38.在master機器上輸入 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 將公鑰id_dsa.pub新增進keys,這樣就可以實現無密登陸ssh
39.在master機器上輸入 ssh master 測試免密碼登陸
如果有詢問,則輸入 yes ,回車
40.在node1主機上執行 mkdir ~/.ssh
41.在node2主機上執行 mkdir ~/.ssh
42.在master機器上輸入 scp ~/.ssh/authorized_keys [email protected]:~/.ssh/authorized_keys 將主節點的公鑰資訊匯入node1節點,匯入時要輸入一下node1機器的登陸密碼
43.在master機器上輸入 scp ~/.ssh/authorized_keys [email protected]:~/.ssh/authorized_keys 將主節點的公鑰資訊匯入node2節點,匯入時要輸入一下node2機器的登陸密碼
44.在三臺機器上分別執行 chmod 600 ~/.ssh/authorized_keys 賦予金鑰檔案許可權
45.在master節點上分別輸入 ssh node1 和 ssh node2 測試是否配置ssh成功
46.如果node節點還沒有hadoop,則master機器上分別輸入如下命令將hadoop複製
scp -r /usr/local/hadoop/ [email protected]:/usr/local/
scp -r /usr/local/hadoop/ [email protected]:/usr/local/
47.在master機器上,任意目錄輸入 hdfs namenode -format 格式化namenode,第一次使用需格式化一次,之後就不用再格式化,如果改一些配置檔案了,可能還需要再次格式化
48.格式化完成
49.在master機器上,進入hadoop的sbin目錄,輸入 ./start-all.sh 啟動hadoop
50.輸入yes,回車
51.輸入 jps 檢視當前java的程序,該命令是JDK1.5開始有的,作用是列出當前java程序的PID和Java主類名,nameNode節點除了JPS,還有3個程序,啟動成功
52.在node1機器和node2機器上分別輸入 jps 檢視程序如下,說明配置成功
53.在瀏覽器訪問nameNode節點的8088埠和50070埠可以檢視hadoop的執行狀況
54.在master機器上,進入hadoop的sbin目錄,輸入 ./stop-all.sh 關閉hadoop
相關推薦
CentOS7下搭建hadoop2.7.3完全分散式
這裡搭建的是3個節點的完全分散式,即1個nameNode,2個dataNode,分別如下: CentOS-master nameNode 192.168.11.128 CentOS-node1 dataNode 192.168.11.131 Cen
基於CentOS6.5系統Hadoop2.7.3完全分散式叢集搭建詳細步驟
前言:本次搭建hadoop叢集使用虛擬機器克隆方式克隆slave節點,這樣做可以省去很多不必要的操作,來縮短我們的搭建時間。 一、所需硬體,軟體要求 使用 VMWare構建三臺虛擬機器模擬真實物理環境 作業系統:CentOS6.5 二、必備條件 hadoop搭建需
Centos7.5搭建Hadoop2.8.5完全分散式叢集
一、基礎環境設定 1. 準備4臺客戶機(VMware虛擬機器) 系統版本:Centos7.5 192.168.208.128 ——Master 192.168.208.129 ——Slaver-1 192.168.208.130 ——Slaver-2 192.168.208.130 ——Slaver-3
hbase1.2.3+zookeeper3.4.9+hadoop2.7.3完全分散式部署遇到的問題
啟動start-hbase.sh 後hbase沒有啟動 檢視日誌如下: ERROR [main] master.HMasterCommandLine: Master exiting java.io.IOException: Could not start ZK with 3
hadoop2.7.3完全分散式安裝-docker-hive1.2.1-hiveserver2-weave1.9.3
0.環境介紹: 1)ubuntu14.04 docker映象 地址:https://github.com/gaojunhao/ubuntu14.04 2)hadoop2.7.3 地址:http://www.apache.org/dyn/closer.cgi/hadoop/c
Centos7上搭建hadoop3.0.3完全分散式 (.tar.gz)
這裡搭建的是3個節點的完全分散式,即1個nameNode,2個dataNode,分別如下: master nameNode 192.168.0.249 node1 dataNode 192.168.0.251 node2 dataNode
myeclipse下搭建hadoop2.7.3開發環境
感謝分享:http://www.cnblogs.com/duking1991/p/6056923.html 需要下載的檔案:連結:http://pan.baidu.com/s/1i5yRyuh 密碼:ms91 一 下載並編譯 hadoop-eclipse-plu
Centos7完全分布式搭建Hadoop2.7.3
.com 密碼 hist gif apach sys cat 設置 blank (一)軟件準備 1,hadoop-2.7.3.tar.gz(包) 2,三臺機器裝有cetos7的機子 (二)安裝步驟 1,給每臺機子配相同的用戶 進入root : su root
在VM虛擬機器上搭建Hadoop2.7.3+Spark2.1.0完全分散式叢集
1.選取三臺伺服器(CentOS系統64位) 114.55.246.88主節點 114.55.246.77 從節點 114.55.246.93 從節點 之後的操作如果是用普通使用者操作的話也必須知道root使用者的密碼,因為有些操作是得
hadoop2.7.4 完全分散式搭建(4臺)
1. 叢集的規劃 描述:hadoop HA機制的搭建依賴與zookeeper,所以選取三臺當作zookeeper叢集,總共準備了4臺主機,分別是hadoop01,hadoop02,hadoop03,hadoop04,其中hadoop01和hadoop02做namenode主
Hadoop2.7.4完全分散式環境搭建
軟體版本 虛擬機器管理軟體:VMware WorkStation Pro 12.0 作業系統:CentOS 6.7 Hadoop:Hadoop 2.7.4 JDK:jdk-8u65-linux-x64.tar.gz 一、環境準備 1、 修改各個節點主機名:vi /e
(學習筆記版)Hadoop入門(一):Hadoop2.7.3完全分布式集群安裝
min property per cal mon 分別是 master 修改 node 在這裏寫下安裝hadoop2.7.3版本的完全分布式的過程,因為剛開始學習hadoop不久,希望自己把學習的東西記錄下來,和大家一起分享,可能有錯誤的地方,還請大牛們批評指正,在我學習的
Ubuntu16.04環境下搭建Hadoop3.0.3偽分散式叢集
最近剛好趕上雙11騰訊促銷,於是搶購了一個8核16G記憶體的雲伺服器,加上業務上需要用到hadoop,hive,於是想搭建搭建一個hadoop分散式叢集,但是限於自己手頭上伺服器數量不多,因此打算先搭建一個hadoop偽分散式叢集。 首先介紹一下我的安裝
# 從零開始搭建Hadoop2.7.1的分散式叢集
Hadoop 2.7.1 (2015-7-6更新),Hadoop的環境配置不是特別的複雜,但是確實有很多細節需要注意,不然會造成許多配置錯誤的情況。儘量保證一次配置正確防止反覆修改。 網上教程有很多關於Hadoop配置的,但是每一個教程都對應了一個版本資訊,有
win10下編譯hadoop2.7.3的問題解決
基本的編譯過程參見http://blog.csdn.net/changge458/article/details/53576178 在編譯中遇到了幾個問題,其根本原因都是tomcat下載失敗,或者是下
Spark之——Hadoop2.7.3+Spark2.1.0 完全分散式環境 搭建全過程
一、修改hosts檔案在主節點,就是第一臺主機的命令列下;vim /etc/hosts我的是三臺雲主機:在原檔案的基礎上加上;ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2其中的i
Hadoop2.7.3+Spark2.1.0完全分散式叢集搭建過程
1.選取三臺伺服器(CentOS系統64位) 114.55.246.88 主節點 114.55.246.77 從節點 114.55.246.93 從節點 之後的操作如果是用普通使用者操作的話也必須知道root使用者的密碼,因為有些操作是得用root使用者操作。如
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境 一、環境說明 個人理解:zookeeper可以獨立搭建叢集,hbase本身不能獨立搭建叢集需要和hadoop和hdfs整合 叢集環境至少需要3個節點(也就是3臺伺服器裝置):1個Master,2
Hadoop2.7.3單機偽分散式環境搭建
Hadoop2.7.3單機偽分散式環境搭建 作者:家輝,日期:2018-07-10 CSDN部落格: http://blog.csdn.net/gobitan 說明:Hadoop測試環境經常搭建,這裡也做成一個模板並記錄下來。 基礎環境
centos7 搭建ha(高可用)hadoop2.7.3叢集
寫在前面 作為一個單體應用開發人員對於理解分散式應用和微服務的理論還可以。但是部署分散式環境來說還是一個挑戰。最近在學習hadoop,正也把學習的東西分享出來,希望幫助感興趣的人。 前面一章寫了centos7搭建hadoop叢集 再跟著做本章實驗前建議初學