2. 程式人生 > >hadoop下載地址與配置hadoop3.0叢集

hadoop下載地址與配置hadoop3.0叢集

阿新 • • 發佈：2018-12-26

hadoop版本下載訪問地址：http://mirrors.hust.edu.cn/apache/hadoop/common

搭建hadoop叢集訪問地址：https://blog.csdn.net/qq_32808045/article/details/76229157

1.準備(搭建叢集所用到的軟體及系統前期配置)：

  1. 虛擬機器 : VMware
  2. linux：CentOS 6.5 .vmx
  3. sun公司的 jdk : jdk1.8.0_131
  4. ssh : 安裝ssh，並設定免密
  5. hadoop : hadoop-3.0.0-alpha4

把CentOS進行克隆，克隆出兩個，這樣我們就有三臺Linux了。 
分別命名為： 
master 
node1 
node2

在root使用者下執行,對主機名進行修改 :

hostname    // 檢視當前系統主機名
vi /etc/sysconfig/network    // 進入檔案
  • 1
  • 2

Exler 
HSOTNAME的屬性賦值為想要修改的主機名 master 
Exler

reboot    // 重啟 即可完成更改
  • 1

其他兩臺主機分別命名為 node1，node2。

對三臺主機進行地址對映 :

ifconfig    // 獲取主機ip地址，為了完成對映
vi /etc/hosts    // 開啟
  • 1
  • 2

新增地址對映 : 
Exler 
這樣我們就不用每次都敲ip了，直接主機名稱就可以了。(當然另外兩臺都需要進行相同的配置)

2. ssh免密的配置

rpm –qa | grep ssh    // 驗證ssh是否安裝
 

yum install ssh -y    // 若無資訊列出即未安裝，則進行安裝
  • 1
  • 2

Exler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    // 在~/.ssh/下生成公鑰/私鑰對   -P '' 密碼為空
  • 1

Exler 
(randomart image看著也是挺有趣的。。。)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys    // 把公鑰新增到authorzied_keys檔案裡
chmod 0600 ~/.ssh/authorized_keys    // 修改authorized_keys的許可權
ssh localhost    // 驗證ssh是否可以訪問
  • 1
  • 2
  • 3

驗證ssh訪問是否正常: 
Exler

把另外兩臺機器也配好了之後，就可以做三臺機器之間的聯通了 :

scp id_rsa.pub node1:~/.ssh/master_rsa.pub   // 把master公鑰發給node1
  • 1

Exler

再轉到node1上執行 :

cat ~/.ssh/master_rsa.pub >> ~/.ssh/authorized_keys    //把收到的公鑰新增到檔案中去
  • 1

node2 進行相同的步驟。(master的know_host檔案中已經存在如節點node1的資訊，以後連線都是免密的)。 
就是三臺虛擬機器都相互把各自的公鑰都發一遍，這樣在每一臺機器的~/.ssh/know_host檔案裡面都有其他節點的ssh資訊。並把收到的公鑰新增到authorized_keys檔案下，這樣下一次就可以免密登入了。

第一次訪問時會出現詢問 
Exler 
確定就好,之後都是秒連的。

遇到的問題： 
1. ssh: connect to host node1 port 22: Connection timed out 
檢查/etc/hosts檔案中的對映 地址->主機名 是否有錯 
2. Host key verification failed. 
當詢問 “…..(yes/no)?”時直接敲了個回車。 應敲yes

jdk的安裝

  1. 下載 
    可以直接訪問官網下載符合自己機器的jdk。 
    注意：需選中 Accept License Agreement
  2. 解壓 

    tar zxvf jdk-8u131-linux-x64.tar.gz // 解壓jdk壓縮包 
  3. 配置環境變數
vi /etc/profile    // 配置環境變數
  • 1

在空白處新增解壓後jdk所在的路徑 :

export JAVA_HOME=/opt/softwares/jdk1.8.0_131    
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$PATH
  • 1
  • 2
  • 3
source /etc/profile    // 使環境變數生效
  • 1

驗證jdk是否安裝完成 :

 java -version    // 會出現jdk版本資訊
  • 1

Exler

可利用scp命令傳送jdk到其餘虛擬機器中然後更改/etc/profile

或是重複相同操作

hadoop的安裝和配置

1.下載 
訪問hadoop官網下載。 
2.解壓

tar zxvf hadoop-3.0.0-alpha4.tar.gz
  • 1

3.為了方便可以配置一下環境變數

vi /etc/profile
  • 1
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
  • 1
  • 2
source /etc/profile    // 使環境變數生效
  • 1

驗證安裝 :

hadoop version
  • 1

Exler
4.配置檔案 
在hadoop檔案加下:

cd etc/hadoop/    //  此目錄下含有hadoop的配置件
  • 1

Exler

需要配置的檔案有 : 
hadoop-env.sh 
core-site.xml 
hdfs-site.xml 
mapred-site.xml 
yarn-site.xml 
workers 
(單節點及偽分散式可檢視官網)

vi hadoop-env.sh
  • 1
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/softwares/jdk1.8.0_131
  • 1
  • 2
  • 3

因為hadoop是在JVM上執行的所以要在其配置檔案中指定jdk的path

vi core-site.xml
  • 1
<configuration>
  <property>
    <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>

  <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

第一個fs.defaultFS是指定hdfs的URI 
第二個hadoop.tmp.dir是hadoop檔案系統依賴的基礎配置，很多路徑都依賴它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，預設就放在這個路徑中

vi hdfs-site.xml
  • 1
<configuration>
 <property>
   <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/local/hadoop/hdfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/usr/local/hadoop/hdfs/data</value>
 </property>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node1:9001</value>
 </property>
  <property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
  </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

dfs.replication 副本個數，預設是3 
dfs.namenode.secondary.http-address 為了保證整個叢集的可靠性secondarnamenode配置在其他機器比較好 
dfs.http.address 進入hadoop web UI的埠

vi mapred-site.xml
  • 1
<configuration>
  <property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
  </property>
  <property>
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
  </property>
  <property>
    <name>mapred.task.tracker.http.address</name>
    <value>0.0.0.0:50060</value>
  </property>

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
   <name>mapreduce.application.classpath</name>
   <value>
     /usr/local/hadoop/etc/hadoop,
     /usr/local/hadoop/share/hadoop/common/*,
     /local/hadoop/share/hadoop/common/lib/*,
     /usr/local/hadoop/share/hadoop/hdfs/*,
     /usr/local/hadoop/share/hadoop/hdfs/lib/*,
     /usr/local/hadoop/share/hadoop/mapreduce/*,
    /usr/local/hadoop/share/hadoop/mapreduce/lib/*,
     /usr/local/hadoop/share/hadoop/yarn/*,
     /usr/local/hadoop/share/hadoop/yarn/lib/*
 </value>
</property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40

mapreduce框架的引數 
最後一個是hadoop jar包的路徑

vi yarn-site.xml
  • 1
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>         <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8099</value>
</property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

NodeManager上執行的附屬服務。需配置成mapreduce_shuffle，才可執行MapReduce程式 
yarn 的webUI埠是8099

vi workers    // datanode節點設定
  • 1
node1
node2
  • 1
  • 2

Exler

5.傳送到其餘虛擬機器中或是重複相同操作

啟動hadoop

hdfs namenode -format    // 首次啟動格式化namenode
start-all.sh    // 啟動hadoop叢集
jps    // 檢視JVM執行的程式
  • 1
  • 2
  • 3

Exler 
Exler 
Exler

遇到的問題 :

Exler 
在hadoop/sbin/ 
vi start-dfs.sh 
vi stop-dfs.sh 
新增 
HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

當報錯YARN_RESOURCEMANAGER_USER時 
vi start-yarn.sh 
vi stop-yarn.sh 
新增 
YARN_RESOURCEMANAGER_USER=root 
HADOOP_SECURE_DN_USER=yarn 
YARN_NODEMANAGER_USER=root

50070埠配置檔案中設定了，卻還是不能訪問

vi /etc/selinux/config

修改

#This file controls the state of SELinux on the system.
#SELINUX= can take one of these three values:
#enforcing - SELinux security policy is enforced.
#permissive - SELinux prints warnings instead of enforcing.
#disabled - No SELinux policy is loaded.
SELINUX=enforcing
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

SELINUX的屬性改為disabled

namenode啟動了datanode沒有啟動(多次格式化namenode造成的)

在master的hadoop路徑下 :

vi hdfs/name/current/VERSION
  • 1

拷貝clusterID 
datanode的hadoop路徑下 :

vi hdfs/data/current/VERSION
  • 1

替換掉datanode的clusterID 
開啟不需要format了


相關推薦

hadoop下載地址與配置hadoop3.0叢集

hadoop版本下載訪問地址：http://mirrors.hust.edu.cn/apache/hadoop/common搭建hadoop叢集訪問地址：https://blog.csdn.net/qq_32808045/article/details/762291571.準

Jmeter4.0下載地址與安裝和配置

一、下載地址  http://jmeter.apache.org/download_jmeter.cgi 最新版本  歷史版本（任意下載你想要的版本） 注意：我安裝的是Jmeter4.0，配置的JDK1.8（4.0需在1.8及1.8以上） 二

Hadoop3.0叢集安裝（包含HDFS HA配置）

hadoop3.0出來了，想嘗試一下新版本的特性及mapreduce效能提升，以下以6臺機器作為hadoop叢集，機器主機名為：hadoop1、hadoop2、hadoop3、hadoop4、hadoop5、hadoop6，其中hadoop1-3作為namenode節點，ha

Eclipse EE下載安裝與配置

nis exec 分享圖片 others cat tools mov available other Eclipse EE下載安裝與配置 一、下載 下載鏈接：http://www.eclipse.org/downloads/eclipse-packages/ 1、進入Ecl

docker 下載安裝與配置

.com source too bbb oracle 開機自啟 sta pda 在線 # mac離線安裝dockerhttps://download.docker.com/mac/stable/24312/Docker.dmg # windows離線安裝dockerht

《java為何這麼簡單》基礎篇-下載工具與配置java

我們以後會用 eclipse 來學習java,所以下一步我們就下載eclispe 和jdk吧 JDK 下載 : 點選-->下載連結 進入以下頁面 點選 Accept License Agreement(紅色方框) 下載你所對應的

雲伺服器環境安裝與配置：kafka叢集

本文詳細說明kafka叢集安裝和命令列的基本使用 環境 zk叢集：192.168.31.201、192.168.31.202、192.168.31.203 Centos7 三臺 對齊

Xcode 下載地址 與Macos版本要求

load mac tps bsp width nload nbsp com download Xcode下載地址：https://developer.apple.com/download/more/ 參考文檔：https://zh.wikipedia.org/wiki/

CentOS7 配置redis3.0叢集開機啟動

 1. Redis Cluster的架構圖。 1.1redis-cluster架構圖 架構細節 (1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進位制協議優化傳輸速度和頻寬. (2)節點的fail是通過叢集中超過半數的節點檢測失

Ubuntu16.04 下 hadoop的安裝與配置（偽分散式環境）

export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

（JSTL）jstl.jar和standard.jar的下載地址與使用

JSTL 1.0 的宣告是：    <%@ taglib prefix="c" uri="http://java.sun.com/jstl/core " %>JSTL1.1以後 的宣告是： 

Spring Boot 整合 Swagger2 與配置 OAuth2.0 授權

Spring Boot 整合 Swagger2 很簡單，由於介面採用了OAuth2.0 & JWT 協議做了安全驗證，使用過程中也遇到了很多小的問題，多次嘗試下述配置可以正常使用。 Maven <!-- swagger2 --> <dependen

Mac Hadoop的安裝與配置

這裡介紹Hadoop在mac下的安裝與配置。 安裝及配置Hadoop 首先安裝Hadoop $ brew install Hadoop 配置ssh免密碼登入 用dsa金鑰認證來生成一對公鑰和私鑰： $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 將生成的公鑰加入到用於認證

Apache伺服器的下載安裝與配置

最近在學習Android，需要搭建一個伺服器。於是在網上查找了一些資料。主要參考博文https://www.cnblogs.com/yerenyuan/p/5460336.html點選開啟連結目前官網可以下載的版本是2.4.29，分VC14和VC11，VC14是Visual

MongoDB windows 下 下載 安裝與配置

MongoDB各個64位版本下載地址： http://dl.mongodb.org/dl/win32/x86_64 我下載的是這個 下載完,安裝就無所謂了,最好是自己指定資料夾,不然

Hadoop 的安裝與配置

新增： <configuration><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><

[Hadoop]Hadoop的安裝與配置

        作業系統：ubuntu 14.04 LTS         Java 版本：openjdk-1.7.0_91         Hadoop 版本：hadoop-1.2.1 （下載地址：hadoop-1.2.1） 安裝         下載 hadoop-1.

大資料_MapReduce和Hadoop的安裝與配置

谷歌的向量矩陣 MapReduce計算模型 java的序列化是實現Serializable介面(我如果想把一個java的物件作為inputStream和outputSt

hadoop入門系列之三【hadoop的安裝與配置】

在master上執行 #格式化namenode操作 [[email protected] hadoop]$ hdfs namenode -format 15/06/26 19:38:57 INFO namenode.NameNode: STARTUP_MSG:  /****************

redis基礎:redis下載安裝與配置,redis資料型別使用,redis常用指令,jedis使用,RDB和AOF持久化

　　　　　　　　　　　　　知識點梳理 　課堂講義   課程計劃 1. REDIS 入 門（瞭解）（操作）  2. 資料型別 （重點） （操作） （理解） 3. 常用指令   （操作）   4. Jedis （重點