2. 程式人生 > >Hadoop的三種安裝模式

Hadoop的三種安裝模式

阿新 • • 發佈：2019-01-01

Hadoop的三種安裝模式

一、本地模式

本地模式的特點：沒有HDFS, 只能測試MapRduce (不是執行在Yarn中, 做一個獨立的Java程式來執行), 只需配置etc/hadoop/hadoop-env.sh中的JAVA_HOME

二、偽分佈模式

偽分佈模式的特點：在單機上，模擬一個分散式的環境，具備Hadoop的所有功能，只需要一臺機器（主機名為bigdata111）
HDFS：NameNode + DataNode + SecondaryNameNode
Yarn：ResourceManager + NodeManager

1. hadoop-env.sh ，配置hadoop的環境；

將第25行的JAVA_HOME設定為/root/training/jdk1.8.0_144；

2. hdfs-site.xml，設定資料塊的冗餘度；

原則上冗餘度跟資料節點個數保持一致,最大不要超過3；

<property>	
	<name>dfs.replication</name>
	<value>1</value>
</property>
3. core-site.xml，配置主節點的地址埠和資料塊及元資訊；
<property>	
	<name>fs.defaultFS</name>
	<!--hdfs://主機名:埠-->
	<value>hdfs://bigdata111:9000</value>
</property>	
<property>	
	<name>hadoop.tmp.dir</name>
	<!--tmp檔案需要新建-->
	<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
4. mapred-site.xml（預設沒有該檔案），配置MR程式執行的容器；
//使用cp mapred-site.xml.template mapred-site.xml生成xml檔案
<property>	
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
5. yarn-site.xml（預設沒有該檔案），配置Yarn主節點的位置和從節點的工作方式；
<property>	
   <name>yarn.resourcemanager.hostname</name>
   <value>bigdata111</value>
</property>			
<property>	
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
6. 對HDFS的NameNode進行格式化；

進入目錄：/root/training/hadoop-2.7.3/tmp
執行命令：hdfs namenode -format
格式化成功的話，日誌中出現Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

7. 配置免密碼登入。

在root目錄下，執行
生成祕鑰對命令ssh-keygen -t rsa
將公鑰拷給別人ssh-copy-id -i .ssh/id_rsa.pub [email protected]（[email protected]主機名）
輸入名ssh bigdata111驗證是否可登入bigdata111，退出命令exit

8. 啟動；

HDFS：start-dfs.sh
Yarn: start-yarn.sh
統一：start-all.sh
輸入命令jps，檢視NameNode，SecondaryNameNode，DataNode，ResourceManager，NodeManager五個執行緒是否都起來

9. 執行wordcount程式

本地檔案data.xml上傳的hdfs
hdfs dfs -put data.txt /input/
進入目錄root/training/hadoop-2.7.3/share/hadoop/mapreduce
執行hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/day1230/，執行該命令時day1230檔案不存在
檢視hdfs dfs -cat /output/day1230/part-r-00000

三、全分佈模式

全分佈模式用於生產，至少需要三臺機器，其中一臺為為主節點，配置NameNode，SecondaryNameNode，ResourceManager，另外兩臺配置DataNode，NodeManager

1. 準備工作：

(1) 虛擬機器安裝三臺Linux，配置三臺均配置JDK，關閉防火牆命令

		關閉systemctl stop firewalld.service    
		開機不啟動systemctl disable firewalled.service

(2) 設定三臺機IP和對應的主機名

		vi /etc/hosts
		IP2 bigdata112 （主節點）
		IP3 bigdata113
		IP4 bigdata114

(3) 設定三臺機的免密登入

		生成祕鑰對  ssh-keygen -t rsa
		拷貝祕鑰
		ssh-copy-id -i .ssh/id_rsa.pub [email protected]
		ssh-copy-id -i .ssh/id_rsa.pub [email protected]
		ssh-copy-id -i .ssh/id_rsa.pub [email protected]

(4）保證叢集的時間同步

		**三臺機器同時輸入date -s 2018-12-30**

2. 在主節點上（bigdata112）安裝配置hadoop

(1) hadoop-env.sh ，配置hadoop的環境，將第25行的JAVA_HOME設定為/root/training/jdk1.8.0_144；
(2) hdfs-site.xml，設定資料塊的冗餘度，原則冗餘度跟資料節點個數保持一致,最大不要超過3；
<property>	
	<name>dfs.replication</name>
	<value>2</value>
</property>
(3) core-site.xml，配置主節點的地址埠和資料塊及元資訊；
<property>	
	<name>fs.defaultFS</name>
	<!--hdfs://主機名:埠-->
	<value>hdfs://bigdata112:9000</value>
</property>	
<property>	
	<name>hadoop.tmp.dir</name>
	<!--tmp檔案需要新建-->
	<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
(4) mapred-site.xml（預設沒有該檔案），配置MR程式執行的容器；
//使用cp mapred-site.xml.template mapred-site.xml生成xml檔案
<property>	
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
(5) yarn-site.xml（預設沒有該檔案），配置Yarn主節點的位置和從節點的工作方式；
<property>	
   <name>yarn.resourcemanager.hostname</name>
   <value>bigdata111</value>
</property>			
<property>	
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
(6) slaves 配置從節點地址
		bigdata113
		bigdata114
(7) 對HDFS的NameNode進行格式化；
		**進入目錄：/root/training/hadoop-2.7.3/tmp
		執行命令：hdfs namenode -format**

格式化成功的話，日誌中出現Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

3. bigdata112上安裝好的目錄複製到從節點上

		scp -r hadoop-2.7.3/ [email protected]:/root/training
		scp -r hadoop-2.7.3/ [email protected]:/root/training

4. 主節點上啟動叢集；

(1)start-all.sh
		輸入命令jps，

檢視NameNode，SecondaryNameNode，DataNode，ResourceManager，NodeManager五個執行緒是否都起來

(2) 執行wordcount程式

本地檔案data.xml上傳的hdfs

		**hdfs dfs -put data.txt /input/**
		進入目錄**root/training/hadoop-2.7.3/share/hadoop/mapreduce**
		執行hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/day1230/，執行該命令時**day1230檔案不存在**

檢視hdfs dfs -cat /output/day1230/part-r-00000

相關推薦

Hadoop的三種安裝模式

Hadoop的三種安裝模式 一、本地模式 二、偽分佈模式 1. hadoop-env.sh ，配置hadoop的環境； 2. hdfs-site.xml，設定資料塊的冗餘度； 3

zookeeper的三種安裝模式

count 最好 profile quest 清單 XA cfg 可用 故障 zookeeper的安裝分為三種模式：單機模式、集群模式和偽集群模式。 1、單機模式 首先，從Apache官網下載一個Zookeeper穩定版本，本次教程采用的是zookeeper-3.4.9版本

ZooKeeper三種安裝模式

      zookeeper的安裝分為三種模式：單機模式、叢集模式和偽叢集模式。 單機模式        首先，從Apache官網下載一個Zookeeper穩定版本，本次教程採用的是zookeeper-3.4.12版本。 tar -zxvf zookeepre-3.4

hbase三種安裝模式，本地安裝、偽分佈安裝、叢集模式安裝

<property>         <name>hbase.rootdir</name>         <value>hdfs://namenode.example.org:8020/hbase</value> <

Zookeeper三種安裝模式介紹

Zookeeper的安裝模式分為三種，分別為：單機模式、叢集模式和叢集偽分佈模式。Zookeeper單機模式的安裝比較簡單，如果第一次接觸Zookeeper的話，建議安裝Zookeeper單機模式或者叢集偽分佈模式。 1.     單機模式 Zookeeper要求java環

Hadoop的三種配置模式以及免密登入

本地模式 特點：只需要一臺伺服器，沒有HDFS、只能測試 MapReduce 程式，MapReduce 處理的是本地 Linux 的檔案資料。 配置步驟： 修改 hadoop-2.7.3/etc/hadoop 目錄下的 hadoop-env.sh 檔案

思特奇筆試題：Hadoop的三種執行模式 ：

          1.獨立（本地）執行模式：無需任何守護程序，所有的程式都執行在同一個JVM上執行。在獨立模式下除錯MR程式非常高效方便。所以一般該模式主要是在學習或者開發階段除錯使用 。    &nb

VM安裝的三種網路模式

VMware虛擬機器有三種網路模式，分別是Bridged(橋接模式)、NAT(網路地址轉換模式)、Host-only(主機模式)。 VMware workstation安裝好之後會多出兩個網路連線，分別是VMware Network Adapter VMnet1和VMw

hadoop的三種執行模式區別及配置詳解

       基於hadoop進行開發時，有時候，會被hadoop的三種執行模式搞混，也會被hadoop叢集有哪些配置弄得暈頭轉向，因為看不同的文件有不同的配置方法。所以要先弄明白hadoop的執行模

hadoop初識之三：搭建hadoop環境（配置HDFS，Yarn及mapreduce 執行在yarn）上及三種執行模式（本地模式，偽分散式和分散式介）

--===============安裝jdk（解壓版）================== --root 使用者登入 --建立檔案層級目錄    /opt下分別 建 modules/softwares/datas/tools 資料夾 --檢視是否安裝jdk    rpm -

通過fsharp 使用Enterprise Library Unity 3 - 三種攔截模式的探索

clean stc ane adding clas 是什麽 idc 內部函數 ash 這篇就三種攔截模式進行一下探索。 特性總結 類型 特點 其它 InterfaceInter

設計模式—三種工廠模式(JAVA)

bsp ati int abs @override 手機 分配 ron size 一：簡單工廠： 有一個實際工廠，這個工廠只能造一類的產品，這一類產品就是一個產品接口，會有多個具體產品實現這個接口，例 如，一個手機廠，生產蘋果手機，三星手機；

Java的三種代理模式

value 增加方法 三種 原始的 攔截 tro asm 必須 額外 1.代理模式 代理(Proxy)是一種設計模式,提供了對目標對象另外的訪問方式;即通過代理對象訪問目標對象.這樣做的好處是:可以在目標對象實現的基礎上,增強額外的功能操作,即擴展目標對象的功能.這裏使用到

apache的三種工作模式

httpdweb服務器Apache目前一共有三種穩定的MPM(Multi-Processing Module,多進程處理模式)它們分別是prefork、worker和event，它們同時也代表這Apache的 演變和發展使用httpd -V命令查看Apache的工作模式，如我安裝的httpd-2.2版本[[e

EF3:Entity Framework三種開發模式實現數據訪問

支持 代碼 sql blog flow cli guid 自動完成 main 前言 Entity Framework支持Database First、Model First和Code Only三種開發模式，各模式的開發流程大相徑庭，開發體驗完全不一樣。三種開發模式各有優缺

雲計算的三種服務模式：IaaS，PaaS和SaaS

雲服務 互聯網 src 部分 stand googl 而且 vnc rackspace 　　雲服務”現在已經成了一個家喻戶曉的詞了。如果你不知道PaaS, IaaS 和SaaS的區別，那麽也沒啥，因為很多人確實不知道。　　“雲”其實是互聯網的一個隱喻，“雲計算”其實就是使用

PHP常用的三種設計模式

寫代碼 comment 獲得 return interface 高級 對象 檢測 mys 本文為大家介紹常用的三種php設計模式：單例模式、工廠模式、觀察者模式，有需要的朋友可以參考下。 一、首先來看，單例模式 所謂單例模式，就是確保某個類只有一個實例，而且自行實例化並向整

Apache三種工作模式介紹與配置

Apache工作模式查看方法 查看Apache編譯安裝的參數 worker模式原理及配置方法 prefork模式原理及配置方法 event模式原理及配置方法 Apache三種工作模式介紹與配置一、Apache的三種工作模式介紹及相關查看方法1、Apache三種工作模式簡介Apache目前一

CentOS6.5下搭建ftp服務器（三種認證模式：匿名用戶、本地用戶、虛擬用戶）

所有者 start 生效 用戶權限 密碼 新建 over 使用 則無 CentOS 6.5下搭建ftp服務器 vsftpd（very secure ftp daemon，非常安全的FTP守護進程）是一款運行在Linux操作系統上的FTP服務程序，不僅完全開源而且免費，此外，

Vsftpd文件傳輸服務(三種認證模式：匿名開放 、本地用戶、虛擬用戶)

mkdir 作用 HA 客戶端 .so ces cad art r文件 FTP是一種在互聯網中進行中文件傳輸的協議，基於客戶端/服務器端模式，默認使用20、21號端口，其中端口20（數據端口）用於進行數據傳輸，端口21（命令端口）用於接受客戶端發出的相關FTP命令與參數。