2. 程式人生 > >hadoop-2.6.5偽分散式叢集搭建

hadoop-2.6.5偽分散式叢集搭建

阿新 • • 發佈：2019-02-04

本次搭建的偽分散式hadoop叢集所使用的作業系統是紅帽5，64位系統。
所以，需要注意以下幾點：
1、jdk和hadoop安裝包也應該是64位的
2、64位的jdk是從檔名可以直接看出，例如：jdk-8u172-linux-x64.tar.gz
3、而hadoop的可執行安裝包（非原始碼包）是看不出多少位的，例如：hadoop-2.6.5.tar.gz，需要解壓後使用file ${HADOOP_HOME}/lib/native/libhadoop.so.1.0.0來確認。

[root@hadoop02 ~]# cat /etc/redhat-release 
Red Hat Enterprise
 
 Linux Server release 5 (Tikanga)
[root@hadoop02 ~]# 
[root@hadoop02 ~]# uname -a
Linux hadoop02 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:14 EST 2007 x86_64 x86_64 x86_64 GNU/Linux
[root@hadoop02 ~]#

修改hosts檔案以及建立hadoop使用者。

[root@hadoop02 ~]# hostname
hadoop02
[root@hadoop02 ~]# ifconfig
eth0      Link encap:Ethernet  HWaddr 00
 
:0C:29:15:C5:75  
          inet addr:192.168.16.24  Bcast:192.168.16.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe15:c575/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:156 errors:0 dropped:0 overruns:0 frame:0
          TX packets:118 errors:0
 
 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:15364 (15.0 KiB)  TX bytes:18713 (18.2 KiB)
          Interrupt:19 Base address:0x2000 

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:12 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:720 (720.0 b)  TX bytes:720 (720.0 b)

[root@hadoop02 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.16.24   hadoop02

[root@hadoop02 ~]# useradd hadoop
[root@hadoop02 ~]# passwd hadoop
Changing password for user hadoop.
New password: 
BAD PASSWORD: it is based on a dictionary word
BAD PASSWORD: is too simple
Retype new password: 
passwd: all authentication tokens updated successfully.
[root@hadoop02 ~]# id hadoop
uid=500(hadoop) gid=500(hadoop) groups=500(hadoop)
[root@hadoop02 ~]#

上傳jdk-8u172-linux-x64.tar.gz到Linux伺服器上解壓配置。

[hadoop@hadoop02 ~]$ ls
hadoop-2.6.5.tar.gz  jdk-8u172-linux-x64.tar.gz
[hadoop@hadoop02 ~]$ 
[hadoop@hadoop02 ~]$ mkdir app
[hadoop@hadoop02 ~]$ 
[hadoop@hadoop02 ~]$ tar -zxvf jdk-8u172-linux-x64.tar.gz -C app
[hadoop@hadoop02 ~]$ cd app
[hadoop@hadoop02 app]$ cd jdk1.8.0_172/
[hadoop@hadoop02 jdk1.8.0_172]$ pwd
/home/hadoop/app/jdk1.8.0_172
[hadoop@hadoop02 jdk1.8.0_172]$

配置JAVA_HOME環境變數。

[hadoop@hadoop02 jdk1.8.0_172]$ cd
[hadoop@hadoop02 ~]$ vi .bash_profile
#追加下面兩行
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_172

export PATH=$JAVA_HOME/bin:$PATH

重新整理配置檔案

[hadoop@hadoop02 ~]$ source .bash_profile
[hadoop@hadoop02 ~]$ java -version
java version "1.8.0_172"
Java(TM) SE Runtime Environment (build 1.8.0_172-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.172-b11, mixed mode)
[hadoop@hadoop02 ~]$ 
[hadoop@hadoop02 ~]$ ls
app  hadoop-2.6.5.tar.gz  jdk-8u172-linux-x64.tar.gz
[hadoop@hadoop02 ~]$ 
[hadoop@hadoop02 ~]$ tar -zxvf hadoop-2.6.5.tar.gz -C app

[hadoop@hadoop02 app]$ cd hadoop-2.6.5/
[hadoop@hadoop02 hadoop-2.6.5]$ ll
total 132
drwxrwxr-x. 2 hadoop hadoop  4096 Oct  3  2016 bin
drwxrwxr-x. 3 hadoop hadoop  4096 Oct  3  2016 etc
drwxrwxr-x. 2 hadoop hadoop  4096 Oct  3  2016 include
drwxrwxr-x. 3 hadoop hadoop  4096 Oct  3  2016 lib
drwxrwxr-x. 2 hadoop hadoop  4096 Oct  3  2016 libexec
-rw-rw-r--. 1 hadoop hadoop 84853 Oct  3  2016 LICENSE.txt
-rw-rw-r--. 1 hadoop hadoop 14978 Oct  3  2016 NOTICE.txt
-rw-rw-r--. 1 hadoop hadoop  1366 Oct  3  2016 README.txt
drwxrwxr-x. 2 hadoop hadoop  4096 Oct  3  2016 sbin
drwxrwxr-x. 4 hadoop hadoop  4096 Oct  3  2016 share

這裡順便說一下，hadoop官方文件就在上面的解壓目錄裡。
/home/hadoop/app/hadoop-2.6.5/share/doc
配置HADOOP_HOME環境變數：

[hadoop@hadoop02 ~]$ cd app/hadoop-2.6.5/
[hadoop@hadoop02 hadoop-2.6.5]$ pwd
/home/hadoop/app/hadoop-2.6.5
[hadoop@hadoop02 hadoop-2.6.5]$ cd
[hadoop@hadoop02 ~]$ vi .bash_profile
#追加下面兩行
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

重新整理配置檔案：

[hadoop@hadoop02 ~]$ source .bash_profile
[hadoop@hadoop02 ~]$ hadoop version
Hadoop 2.6.5
Subversion https://github.com/apache/hadoop.git -r e8c9fe0b4c252caf2ebf1464220599650f119997
Compiled by sjlee on 2016-10-02T23:43Z
Compiled with protoc 2.5.0
From source with checksum f05c9fa095a395faa9db9f7ba5d754
This command was run using /home/hadoop/app/hadoop-2.6.5/share/hadoop/common/hadoop-common-2.6.5.jar
[hadoop@hadoop02 ~]$

下面開始配置偽分散式hadoop。

Pseudo-Distributed Operation
Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process.

  • ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh:
 24 # The java implementation to use.
 把第25行${JAVA_HOME}替換成/home/hadoop/app/jdk1.8.0_172
 25 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_172
  • ${HADOOP_HOME}/etc/hadoop/core-site.xml:
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop02:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.6.5/tmp</value>
        </property>
</configuration>
  • ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml:
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>
  • ${HADOOP_HOME}/etc/hadoop/mapred-site.xml:
[[email protected] hadoop]$ mv mapred-site.xml.template mapred-site.xml
[[email protected] hadoop]$ vi mapred-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
  • ${HADOOP_HOME}/etc/hadoop/yarn-site.xml: 
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop02</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置ssh免密碼登入

    #生成ssh免登陸金鑰
    #進入到我的home目錄
    cd ~/.ssh

    ssh-keygen -t rsa （四個回車）
    執行完這個命令後，會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰）
    將公鑰拷貝到要免密登陸的目標機器上
    [[email protected] .ssh]$ ssh-copy-id -i ~/.ssh/id_rsa.pub localhost
    [[email protected] .ssh]$ ssh localhost
    Last login: Tue May 15 19:24:12 2018 from hadoop02
    [[email protected] ~]$ exit
    logout
    Connection to localhost closed.
    [[email protected] .ssh]$

見證奇蹟的時刻到了，下面開始啟動hdfs和yarn。
Format the filesystem: 

[hadoop@hadoop02 ~]$ hdfs namenode -format

Start NameNode daemon and DataNode daemon: 

[hadoop@hadoop02 hadoop]$ start-dfs.sh

Start ResourceManager daemon and NodeManager daemon: 

[hadoop@hadoop02 hadoop]$ start-yarn.sh

檢視後臺程序啟動情況：

 [hadoop@hadoop02 hadoop]$ jps
4612 Jps
3798 NameNode
4216 ResourceManager
4074 SecondaryNameNode
3917 DataNode
4509 NodeManager

驗證：

[[email protected] ~]$ hadoop fs -put hadoop-2.6.5.tar.gz /hadoop-2.6.5.tar.gz 
18/05/15 19:30:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[[email protected] ~]$ hadoop fs -ls /
18/05/15 19:30:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
-rw-r--r--   1 hadoop supergroup  199635269 2018-05-15 19:30 /hadoop-2.6.5.tar.gz
[[email protected] ~]$

這裡這個警告：18/05/15 19:30:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 目前我也知道什麼原因了，如果哪位高手知道，幫忙指導下哈。

相關推薦

hadoop-2.6.5偽分散式叢集搭建

本次搭建的偽分散式hadoop叢集所使用的作業系統是紅帽5，64位系統。 所以，需要注意以下幾點： 1、jdk和hadoop安裝包也應該是64位的 2、64位的jdk是從檔名可以直接看出，例如：jdk-8u172-linux-x64.tar.gz 3、而

hadoop學習第二天~Hadoop2.6.5完全分散式叢集搭建和測試

環境配置： 系統 centos7 節點 192.168.1.111 namenode 192.168.1.115 datanode2 192.168.1.116 datanode3 java 環境 :

在Ubuntu 上搭建hadoop-2.6.0-cdh分散式叢集

1 虛擬機器配置 序號 作業系統 CPU/core 記憶體/GB 硬碟/GB IP地址 主機名 1 Ubuntu 2 3 20 192.168.0.122 master 2 Ubuntu 1 2 20 192.168.0.123 slave

Hadoop 2.6.4 完全分散式環境搭建

一、安裝linux 環境 OS Linux：CentOS 6.6 64bit 記憶體 1.5-2GB 硬碟 15-20GB 二、安裝JDK 及修改hostname 1、修改hostname  [[email protected] ~]# vi /etc/s

Hadoop-2.8.4版本 分散式叢集搭建

Hadoop分散式叢集搭建 建立虛擬機器（用VmWare工具,centos6） 克隆三臺機器 master slaver1 slaver2 分別在每臺機器上安裝jdk >= 1.7版本 vim  /etc/profile 四、同步三臺虛擬機器的時間（時間

Hadoop單機/偽分散式叢集搭建（新手向）

此文已由作者朱笑笑授權網易雲社群釋出。 歡迎訪問網易雲社群，瞭解更多網易技術產品運營經驗。 本文主要參照官網的安裝步驟實現了Hadoop偽分散式叢集的搭建，希望能夠為初識Hadoop的小夥伴帶來借鑑意義。 環境： （1）系統環境：CentOS 7.3.1611 64位 （2）J

大資料之Hadoop學習（環境配置）——Hadoop偽分散式叢集搭建

title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分

5、Hadoop 2.6.5 環境搭建

下載 地址：http://archive.apache.org/dist/hadoop/common/ sudo wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz 準備 官網文件：h

centos下hadoop-2.6.0完全分散式搭建

一、Hadoop執行模式： Hadoop有三種執行模式，分別如下： 單機(非分散式)模式 偽分散式(用不同程序模仿分散式執行中的各類節點)模式 完全分散式模式 注：前兩種可以在單機執行，最後一種用於真

hadoop偽分散式叢集搭建及配置記錄

如果已經走到了需要搭建hadoop偽分散式的環境了，那說明你至少做好了以下三點建立好了自己的虛擬機器，ip、本機名對映、防火牆、安全子系統都已經配置好了下載jdk1.7及以上版本，並配置好了java環境下載hadoop2.7.0及以上版本，並解壓到、opt/modules（自

Hadoop-2.8.0之分散式叢集（HA架構）搭建

1、安裝前準備        ①、叢集規劃： 主機名稱 使用者 主機IP 安裝軟體 執行程序 centos71 hzq 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc

Apache Hadoop-2.7.3偽分散式搭建詳細步驟

1.什麼是Apache Hadoop？Apache Hadoop專案為可靠，可擴充套件的分散式計算開發開源軟體。2.Apache Hadoop專案包含哪些模組？Hadoop Common：支援其他hadoop模組的常用工具HDFS(Hadoop Distributed Fil

《Hadoop》之"踽踽獨行"（七）Hadoop的偽分散式叢集搭建

在上一章我給大家介紹了Hadoop的單節點叢集本地模式的搭建，在這一章中，我們來了解一下Hadoop偽分散式叢集的搭建與用途。 一、Hadoop偽分散式叢集（pseudo distributed cluster） 1、簡介 hadoop的pseudo distributed&n

Hadoop偽分散式叢集搭建過程及避坑指南

一個偶然的機會，讓我進了hadoop這個坑。我不得不說，Google真是個非常厲害的公司。為計算機行業貢獻了很多亮瞎雙眼額技術。初入Hadoop一般都要了解HDFS，YARN，Mapreduce。現在來總結一下Hadoop分散式叢集的搭建過程。1.首先準備好相應的安裝包，同時

Hadoop單機、偽分散式叢集搭建（十分詳細）

原文地址：http://blog.csdn.net/dr_guo/article/details/50886667 下面我就一邊搭建一邊寫怎麼搭建Hadoop偽分佈模式。 1.下載jdk並安裝 去官網下就可以了，下完之後把檔案移到/o

Hadoop 2.6.5 FileSystem和Configuration兩個對象的探究

family 上傳數據 大數 塊大小 緩存 完成 color span 小夥伴 Hadoop 2.6.5 FileSystem和Configuration兩個對象的探究 版權聲明：本文為yunshuxueyuan原創文章，如需轉載，請標明出處。【http://www.

7.Hadoop的學習（Hadoop的配置（偽分散式的搭建）-3(啟動守護程序)）

1.經過前面的兩節，我們就可以使用HDFS檔案系統了 2.首先要對檔案系統進行格式化：    執行格式化的命令：   hadoop namenode -format 3. 啟動守護程序   進入到     

偽分散式叢集搭建

在B站找的搭建Hadoop的視訊，以下是步驟 感覺很簡練，有一篇部落格講的更加詳細 1.準備好jar包和Hadoop包 相容情況如下： hadoop版本>=2.7：要求Java 7(openjdk/oracle) hadoop版本<=2.6：要求Java 6(open

hadoop-2.6.5在CentOS6.5上配置

本科學生綜合性實驗報告 專案組長 學號 成 員 專 業 班級 實驗專案名稱 指導教師及職稱 開課學期 至 學年 學期 上課時間 年

Hadoop-3.1.1完全分散式叢集搭建

一、工作準備 1.虛擬機器 安裝Vmware 安裝CentOs虛擬機器三臺 master 192.168.33.101 slave1 192.168.33.102 slave2 192.168.33.103 2.虛擬機器配置