2. 程式人生 > >Hadoop偽分散式、完全分散式搭建和測試（詳細版）

Hadoop偽分散式、完全分散式搭建和測試（詳細版）

阿新 • • 發佈：2019-01-09

安裝

Hadoop 入門學習，快速搭建偽分散式環境。

注：需要下載的安裝包在文章底部，請自行獲取。

1. 修改主機名

vim /etc/hostname
vim /etc/hosts
reboot

reboot 重啟主機使修改配置檔案生效，這裡我設定的主機名是 : cx。

注意：出於安全考慮，如果只想區域網訪問 127.0.0.1 cx 就可以 如果不在遠端伺服器，不在一個區域網，可以配置成 0.0.0.0 cx 執行所以IP都可以訪問 【hadoop安裝完成並正確啟動會，後檢視監聽埠 netstat -tpnl |grep 8020，就會看到你配置的IP及監聽的8020埠】 

[root@cx hadoop]# cat /etc/hosts
 

0.0.0.0 cx
127.0.0.1   localhost
127.0.1.1   localhost
::1         localhos
[root@cx hadoop]# netstat -tpnl |grep 8020
tcp        0      0 0.0.0.0:8020            0.0.0.0:*               LISTEN      10046/java  
[root@cx ~]# hostname
cx

2. 免密登陸

刪除已有的 ssh 配置，使用命令 rm -r ~/.ssh 進行刪除 ；
生成新的 ssh-key ，使用命令 ssh-keygen -t rsa ；
-為本機進行公鑰的註冊：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh-keygen  -t rsa
clear
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

或者 ssh-copy-id slave2形式 這個也可以自己給自己copy
ssh-copy-id cx
3. 安裝JDK
下載JDK包，開始安裝，預設安裝的位置是在/usr/java/ 目錄下

rpm -ivh jdk-8u91-linux-x64.rpm

設定java環境變數 vim /etc/profile 

JAVA_HOME=JAVA_HOME=/usr/java/jdk1.8.0
 
_91
PATH=$PATH:$JAVA_HOME/bin:
export PATH JAVA_HOME

source /etc/profile 是環境變數生效

[root@cx local]# vim /etc/profile
[root@cx local]# source /etc/profile
[root@cx local]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

java -version 驗證是否安裝成功
4. 安裝Hadoop
將下載好的hadoop包解壓移動到 /user/local/ 目錄下

mv hadoop-2.7.3.tar.gz /usr/local/

解壓檔案

cd /usr/local/hadoop
tar -xvf hadoop-2.7.3.tar.gz

重新命名解壓出來的檔案，並進去改名後的資料夾，分別建立 hdfs/tmp、hdfs/name、hdfs/data目錄

mv hadoop-2.7.3.tar.gz hadoop
cd ./hadoop
mkdir -p hdfs/{data,name,tmp}

5. Hadoop配置
在 /usr/local/hadoop/etc/hadoop 下配置各個檔案
進入目錄 cd /usr/local/hadoop/etc/hadoop
- 配置hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_91
export HADOOP_PID_DIR=/usr/local/hadoop/hdfs/tmp
  • 配置mapred-env.sh 【計算引擎】
export HADOOP_MAPRED_PID_DIR=/usr/local/hadoop/hdfs/tmp
  • 配置yarn-env.sh 
export YARN_PID_DIR=/usr/local/hadoop/hdfs/tmp
  • 配置core-site.xml檔案
    hdfs系統會把用到的資料儲存在core-site.xml中由hadoop.tmp.dir指定，而這個值預設位於/tmp/hadoop-${user.name}下面， 由於/tmp目錄在系統重啟時候會被刪除，所以應該修改目錄位置。
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://cx:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hdfs/tmp</value>
</property>
  • 配置hdfs-site.xml檔案
    可以關閉許可權檢查 在namenode的hdfs-site.xml上
 <property>
     <name>dfs.replication</name>
     <value>1</value>
 </property>
 #這個是設定block大小為3M，預設為124M
 <property>
         <name>dfs.block.size</name>
         <value>3145728</value>
 </property>
 <property>
     <name>dfs.namenode.name.dir</name>
     <value>/usr/local/hadoop/hdfs/name</value>
 </property>
 <property>
     <name>dfs.datanode.data.dir</name>
     <value>/usr/local/hadoop/hdfs/data</value>
 </property>
 <property>
     <name>dfs.permissions.enabled</name>
     <value>false</value>
 </property>
  • 建立配置mapred-site.xml檔案，直接執行命令cp mapred-site.xml.templete mapred-site.xml
cp mapred-site.xml.templete mapred-site.xml
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
  • 配置yarn-site.xml檔案
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>
  • 配置slaves指定datanode節點
vim slaves 將localhost改成主機名/新增主機名
  • 修改環境變數檔案”/etc/profile”,並使其生效
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

Hadoop啟動

第一次啟動hadoop之前需要格式化namenode節點，命令為hadoop namenode -format。
兩種方式啟動方式，可按需選擇，全部啟動還是，只啟動相應功能
1、全部啟動 ：start-all.sh
2、分開啟動：單獨啟動hdfs start-hdfs.sh；單獨啟動yarn start-yarn.sh
jps 檢視是否啟動成功。

start-hdfs.sh 會啟動檔案系統的 namenode datanode
start-yarn.sh 會啟動資源排程 ResourceManager NodeManager

停止也有2種方式：
1、停止全部 stop-all.sh
2、分開停止：1、停止hdfs stop-hdfs.sh；2、停止yarn stop-yarn.sh
輸入 jps 檢視

[root@cx hadoop]# jps
23104 DataNode
23265 SecondaryNameNode
23810 Jps
1971 Application
10951 ResourceManager
22972 NameNode
7406 Bootstrap
12302 NodeManager

瀏覽器輸入你搭建的伺服器地址加埠 50070 檢視網頁版hadoop叢集資訊
例項：http://127.0.0.1:50070
hadoop

測試

  • HDFS測試

建立一個hello.txt 檔案，輸入命令上傳到hadopp並檢視

hadoop fs -ls / 檢視上傳的檔案

[root@cx ~]# hadoop fs -put ./hello.txt  /
[root@cx ~]# hadoop fs -ls /
Found 1 items
-rw-r--r--   1 root supergroup         44 2017-10-25 09:30 /hello.txt

瀏覽器上檢視
hadoop

  • YARN、Map/Reduce測試
    建立一個文字輸入以下內容放入到hdfs檔案系統裡去
hello java
hello java
hello c
hello c++
hello python
hello java

這裡我建立了一個input.txt放入到 hdfs /input/目錄下，使用hadoop提供的demo做詞頻統計

hadoop fs -mkdir /input
hadoop fs -put /input/input.txt
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/input.txt /output

完畢後，在http://127.0.0.1:50070 裡檢視檔案，在/output目錄下會有一個_SUCCESS 檔案 和 part-r-00000檔案

輸入命令 hadoop fs -text /input/input.txt 檢視輸出結果

[root@cx hadoop]# hadoop fs -text /input/input.txt
hello java
hello java
hello c
hello c++
hello python
hello java

**

完全分散式搭建

單臺hadoop佈置完畢後

先給叢集機器配置 IP和主機名（有多少加多少）
改主機名參閱 偽分散式第一步
vim /etc/hostname
vim /etc/hosts
reboot

[root@master ~]# cat /etc/hosts
192.168.56.100 master
192.168.56.101 slave1
192.168.56.102 slave2
192.168.56.103 slave3
192.168.56.105 master1

ssh-keygen -t -rsa 在master上生產私鑰公鑰
然後把公鑰copy到叢集主機上，master也需要一份，因為即使是本次操作，對於hadoop而言也是遠端登陸操作

[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2
[root@master ~]# ssh-copy-id slave3
[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id master1

單獨配置HDFS

core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
</property>
<property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/hdfs/tmp</value>
      <description>Abase for other temporary directories.</description>
 <property>
    <!-- 設定secondary namenode地址及埠 預設是在本機這裡 改成master1 -->
        <name>dfs.namenode.secondary.http-address</name>
        <value>master1:50090</value>
  </property>

</property>

hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/hdfs/name</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/hdfs/data</value>
</property>
<property>
         <name>dfs.block.size</name>
         <value>3145728</value>
</property>
<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
</property>

slaves

[root@master hadoop]# cat slaves 
slave1
slave2
slave3

masters 這個要新建

[root@master hadoop]# cat masters 
master1

配置完畢複製配置到每個datanode上
scp -r /usr/local/hadoop/etc/hadoop slave1:/usr/local/hadoop/etc/hadoop

然後 start-dfs.sh啟動叢集，hdfs檔案系統啟動

192.168.56.100:50070 檢視hdfs叢集資訊

單獨配置啟動yarn

yarn的ResourceManager NodeManager配置

<configuration>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

集中管理這個不需要所有節點都配置，只需要namenode上配置

[[email protected] hadoop]# start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-master.out
slave3: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave3.out
slave1: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave1.out
slave2: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave2.out
[[email protected] hadoop]# jps
2132 ResourceManager
2206 Jps

192.168.56.100:8088（預設埠） 檢視yarn叢集資訊

單獨配置啟動Map/Reduce

配置 mapred-site.xml
沒有的話這個配置檔案的話，先從模板複製一份
cp mapred-site.xml.template mapred-site.xml

<property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>
</property>

mapreduce預設在本地執行，這裡寫死在yarn框架上執行。

測試方式和偽分散式執行一樣。

瀏覽器檢視Hadoop叢集資訊：

  • HDFS檢視
  • YARN檢視

需要下載的安裝包：

如有疑問，請及時聯絡作者。

安裝可能存在問題：

  1. datanode無法啟動
    多次格式化導致版本不一致，解決辦法，刪除hdfs/{data,name,tmp} 資料夾，並重新建立

  2. HDFS啟動不了時，先互相ping，看是否測試成功，若不成功，注意防火牆的影響。關閉windows或虛擬機器的防火牆。
    systemctl stop firewalld
    systemctl disable firewalld

    未完，待續……

相關推薦

Hadoop偽分散式、完全分散式搭建和測試（詳細版）

安裝 Hadoop 入門學習，快速搭建偽分散式環境。 注：需要下載的安裝包在文章底部，請自行獲取。 1. 修改主機名 vim /etc/hostname vim /etc/hosts reboot reboot 重啟主機使修改配置檔案生效，這裡我

完全分散式Hadoop叢集的安裝搭建和配置（4節點）

Hadoop版本：hadoop-2.5.1-x64.tar.gz 學習參考了給力星http://www.powerxing.com/install-hadoop-cluster/的兩個節點的hadoo

安裝HBase--單節點、偽分散式、完全分散式安裝

1.下載HBase 連結：http://mirrors.cnnic.cn/apache/hbase/ 選擇 stable 目錄，下載 bin 檔案： 在Linux上解壓，部落格中解壓在/home/hadoop 目錄下： 進入解壓目錄： 2.修改配置 修改JD

Linux添加防火墻、iptables的安裝和配置（親測）

accept verbose conf inpu wall ron -h 數據流 ack iptables基礎 規則（rules）其實就是網絡管理員預定義的條件，規則一般的定義為“如果數據包頭符合這樣的條件，就這樣處理這個數據包”。規則存儲在內核空間的信息

SMM框架的搭建和測試（Spring MVC+MyBatis）

meta true model spa const -i ssp pan div Spring MVC：MVC框架，通過Model-View-Controller模式很好的將數據，業務與展現進行分離。 MyBatis：數據持久層框架 我這裏使用的是MyEclipse 2

SSH框架的搭建和測試（Spring + Struts2 + Hibernate）

conf work fault 項目 -i extends struts2 scrip map SSH框架實現了視圖、控制器、和模型的徹底分離，同時還實現了業務邏輯層與持久層的分離。 Spring實現了MVC中的 Controller的功能，Struts實現Web視圖的功能

python控制結構、叠代器和生成器（個人筆記）

if while參考：https://docs.python.org/2.7/reference/compound_stmts.html#whilehttps://www.cnblogs.com/lclq/p/5586198.html （python的運算與表達式）https://www.zhihu.com/

Spring Boot 初級入門教程（十三） —— 打完整 war 包、部署和測試（附原始碼）

前面幾篇文章介紹瞭如何打 jar 包並如何在伺服器環境上測試，那麼這篇就說說如何打 war 包並在 tomcat 伺服器上部署測試。 畢竟在開發過程中，很多專案都是 web 專案，最熟悉的還是直接部署在 tomcat 伺服器中執行，本地開發也是在 IDE 開發環境配置伺服器，併發布執行。只不

Spring Boot 初級入門教程（十一） —— 打分離 jar 包、部署和測試（附原始碼）

分離 jar 包，也就是把工程原始碼打包到 *.jar，而把工程依賴的所有 lib 單獨生成，這樣打包的好處是，在依賴包沒有修改的情況下，部署時只需要上傳一次依賴包，每次部署的專案 jar 包很小，在伺服器網路不太好的情況下，這樣做是非常有必要的，因為上傳 20M 和 上傳 20K 的時間還是有

Django框架學習01--環境搭建和檢視（修改版）

Python框架之Django01–環境搭建 一、一般公司結構簡介 在接觸python框架學習之前，首先要清楚我們做專案的基本架構，專案組以及公司的基本分類。下面我簡單做一下梳理，僅供參考。 1.專案組 （1）產品---2個人，提需求（女生為主） （2）測試----

Tomcat伺服器的搭建和測試（啟動和關閉）

首先保證你是裝過java或者安卓的開發環境，就是已經配置過jdk的情況下，進行如下設定就行，（JDK的環境變數配置網上很全，隨便搜就能配置成功） 在Tomcat官網上下載一個版本解壓後進行如

SQLyog之MySQL客戶端的下載、安裝和使用（旗艦版）（推薦）

首先，對於一個說明，附上註冊名和註冊碼  Ultimate 版本: （終極是最好的）註冊名：luoye2562註冊碼: 8d8120df-a5c3-4989-8f47-5afc79c56e7c 本博文的主要內容有 　　.SQLyog的下載 　　.SQLyog的安裝 　　.

SQLyog之MySQL客戶端的下載、安裝和使用（普通版）

本博文的主要內容有 　　.SQLyog的下載 　　.SQLyog的安裝 　　.SQLyog的使用 　前期，安裝這個，不多說 1、SQLyog的下載  　　2、開啟SQLyog首頁後，點選Downloads超連結，進入下載SQLyog產品頁面，如下

maven私服搭建和使用（初級篇）

為什麼要用遠端倉庫（私服）  如果沒有私服，我們所需的所有構件都需要通過maven的中央倉庫和第三方的maven倉庫下載到本地，而一個團隊中的所有人都重複的從maven倉庫下載構件，這樣就加大了中央倉庫

Git | 一篇文章搞定Git、GitHub的理解和使用（學習筆記）

Git learning note 本筆記整理自廖雪峰老師的Git教程，加上了自己的實踐結果和一些理解，旨在使科研工作者（基本上是獨立開發的那種）看完就能理解和使用Git。廖老師的教程生動活潑，條理清晰，推薦閱讀。還可以贊助哦。 目錄 Git 簡

二叉樹、樹和森林（java版）

什麼是樹 樹是n個結點的有限集合（n>=0）； 樹只有一個根節點（root）； n>1時除了root外每個集合都是子樹； 術語 結點：包括一個數據和指向若干結點的分支。 結點的度：結點擁有子樹的個數（為0則是葉子結點）。 樹的度：樹

nginx安裝和測試 （已驗證）

fig figure lib pan 首頁 min 正常 如果 nginx安裝 進入：/usr/local/nginx 目錄註意：為了保證各插件之間的版本兼容和穩定，建議先通過以下版本進行測試驗證。一、下載版本 下載nginx: wget http://nginx.o

部分和問題（簡單版）

out 用法 main 個數 int n) 意思 OS AC 正式開始學習dfs的用法，突然發現以前不能做的問題原來是深度優先問題； 練手題很簡單，大概意思就是在就是一系列數中是否能找出幾個數相加，使結果等於一個給定的數 1 #include<iostream&g

webstorm-----eslint的配置和使用（2018版）

在使用vue的專案中，我們有時候就會用到eslint去要求團隊的程式碼規範一樣。下面就讓我們一起來配置一下，個人習慣是用英文版的webstorm（也建議大家使用英文版），我所有的並不是全域性安裝eslint的方法，可以針對單個專案進行eslint檢測和修復 1.點選se

[譯] React 的今天和明天（圖文版） —— 第一部分

原視訊地址：React Today and Tomorrow and 90% Cleaner React with Hooks 中英文字幕視訊地址：React Today And Tomorrow Part I —— 中英雙語字幕 英文原文地址：React Today and Tom