CentOS7.0安裝配置hadoop2.7.0

資源準備

資源下載：

注意事項：

如果自己下載資源的話，注意hadoop,jdk,centos都應該是64位或者32位的，以免出現無法預料的錯誤，上面的資源都是64位的
我是在mac下配置的，virtual box是ios x系統的，如果是其它系統的另外尋找資源下載安裝

linux 虛擬機器配置

系統配置：

虛擬機器：一個master(Master.Hadoop),兩個slave(Slave1.Hadoop, Slave2.Hadoop)
網路設定：我使用的是橋接的方式，因為只是實驗性安裝，我沒有設定靜態ip
記憶體：每個虛擬機器配置1024M記憶體

分割槽：自動
軟體選擇：最小安裝，注意選擇開發工具
使用者設定：密碼都設定為:hadoophadoop, 不建立任何使用者，操作時使用root直接進行

額外軟體安裝：

centos7.0初始化時並沒有ifconfig指令，需要使用下面兩個指令進行安裝：

yum search ifconfg
yum install net-tools.x86_64

完成其它兩個虛擬機器的安裝：

兩個slave的hostname可以改成Slave1.Hadoop, Slave2.Hadoop，方便區分

安裝完後各個虛擬機器的ip配置(參考用)

主機	ip地址
master.hadoop	192.168.1.122
slave1.hadoop	192.168.1.125
slave2.hadoop	192.168.1.124

配置本地hosts

輸入指令

vi /etc/hosts

// 將以下資料複製進入各個主機中

192.168.1.122   Master.Hadoop
192.168.1.125   Slave1.Hadoop
192.168.1.124   Slave2.Hadoop

使用以下指令對master主機中進行測試，可使用類似指令在slave主機測試

ping Slave1.Hadoop
ping Slave2.Hadoop

配置Master無密碼登入所有Salve

以下在Master主機上配置

輸入以下指令生成ssh

ssh-keygen

// 會生成兩個檔案，放到預設的/root/.ssh/資料夾中

把id_rsa.pub追加到授權的key裡面去

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改檔案”authorized_keys”許可權

chmod 600 ~/.ssh/authorized_keys

設定SSH配置

vi /etc/ssh/sshd_config

// 以下三項修改成以下配置

RSAAuthentication yes # 啟用 RSA 認證

PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式

AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑（和上面生成的檔案同）

重啟ssh服務

service sshd restart

把公鑰複製所有的Slave機器上

// scp ~/.ssh/id_rsa.pub 遠端使用者名稱@遠端伺服器IP:~/

scp ~/.ssh/id_rsa.pub root@192.168.1.125:~/
scp ~/.ssh/id_rsa.pub root@192.168.1.124:~/

以下在Slave主機上配置

在slave主機上建立.ssh資料夾

mkdir ~/.ssh

// 修改許可權
chmod 700 ~/.ssh

追加到授權檔案”authorized_keys”

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

// 修改許可權
chmod 600 ~/.ssh/authorized_keys

刪除無用.pub檔案

rm –r ~/id_rsa.pub

在master主機下進行測試

ssh 192.168.1.125
ssh 192.168.1.124

// 如果能夠分別無密碼登陸slave1, slave2主機，則成功配置

進行jdk, hadoop軟體安裝

jdk安裝：

在/usr下建立java資料夾
使用以下指令從真機傳入jdk-8u45-linux-x64.tar.gz檔案到虛擬主機中

// 需要在真機中進入檔案目錄，地址為虛擬主機的ip地址

scp jdk-8u45-linux-x64.tar.gz  root@192.168.1.122:/usr/java
scp jdk-8u45-linux-x64.tar.gz  root@192.168.1.125:/usr/java
scp jdk-8u45-linux-x64.tar.gz  root@192.168.1.124:/usr/java

使用以下指令進行加壓

tar zxvf jdk-8u45-linux-x64.tar.gz

// 解壓後可以刪除掉gz檔案
rm jdk-8u45-linux-x64.tar.gz

配置jdk環境變數

vi   /etc/profile

新增Java環境變數


// 將以下資料複製到檔案底部

export JAVA_HOME=/usr/java/jdk1.8.0_45

export JRE_HOME=/usr/java/jdk1.8.0_45/jre

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

使配置生效

source /etc/profile

驗證安裝成功

java -version

// 如果出現以下資訊，則配置成功
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

hadoop安裝

使用以下指令將hadoop-2.7.0.tar.gz檔案複製到/usr目錄下

scp hadoop-2.7.0.tar.gz  root@192.168.1.122:/usr/

解壓hadoop-2.7.0.tar.gz檔案，並重命名

cd /usr
tar zxvf  hadoop-2.7.0.tar.gz
mv hadoop-2.7.0 hadoop

// 刪除hadoop-2.7.0.tar.gz檔案
rm –rf hadoop-2.7.0.tar.gz

在”/usr/hadoop”下面建立tmp資料夾

cd /usr/hadoop
mkdir tmp

把Hadoop的安裝路徑新增到”/etc/profile”中

vi /etc/profile

// 將以下資料加入到檔案末尾

export HADOOP_INSTALL=/usr/hadoop  
export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin${PATH}  
export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}  
export HADOOP_COMMON_HOME=${HADOOP_INSTALL}  
export HADOOP_HDFS_HOME=${HADOOP_INSTALL}  
export YARN_HOME=${HADOOP_INSTALLL}  
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/natvie    
export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"

重啟”/etc/profile”

source /etc/profile

配置hadoop（先只在Master主機配置，配置完後傳入兩個Slave主機）

設定hadoop-env.sh和yarn-env.sh中的java環境變數

cd /usr/hadoop/etc/hadoop/
vi hadoop-env.sh

// 修改JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_45

配置core-site.xml檔案

vi core-site.xml

// 修改檔案內容為以下
<configuration>

<property>

  <name>hadoop.tmp.dir</name>

  <value>/usr/hadoop/tmp</value>

  <description>A base for other temporary directories.</description>

  </property>

  <property>

  <name>fs.default.name</name>

  <value>hdfs://Master.Hadoop:9000</value>

 </property>
</configuration>

配置hdfs-site.xml檔案

vi hdfs-site.xml


// 修改檔案內容為以下

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///usr/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///usr/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Master.Hadoop:50090</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

配置mapred-site.xml檔案

 vi mapred-site.xml 

 // 修改檔案為以下

 <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <final>true</final>
        </property>

    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>Master.Hadoop:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master.Hadoop:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master.Hadoop:19888</value>
    </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://Master.Hadoop:9001</value>
        </property>

配置yarn-site.xml檔案

vi yarn-site.xml

// 修改檔案內容為以下

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master.Hadoop</value>
        </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>Master.Hadoop:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>Master.Hadoop:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>Master.Hadoop:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>Master.Hadoop:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>Master.Hadoop:8088</value>
    </property>

配置Hadoop的叢集

將Master中配置好的hadoop傳入兩個Slave中

scp -r /usr/hadoop  root@192.168.1.125:/usr/
scp -r /usr/hadoop  root@192.168.1.124:/usr/

修改Master主機上的slaves檔案

cd /usr/hadoop/etc/hadoop
vi slaves

// 將檔案內容修改為
Slave1.Hadoop
Slave2.Hadoop

格式化HDFS檔案系統

// 在Master主機上輸入以下指令
hadoop namenode -format

相關推薦

CentOS7.0安裝配置hadoop2.7.0 資源準備資源下載： hadoop-2.7.0.tar.gz 密碼：727y jdk-8u45-linux-x64.tar.gz 密碼：d8bm

CentOS7.0安裝配置hadoop2.7.0 資源準備資源下載：注意事項：如果自己下載資源的話，注意hadoop,jdk,centos都應該是64位或者32位的，以免出現無法預料的錯誤，上面的資源都是64位的我是在mac下配置的，virtual box是ios x系統的，如果是其它系統的另

linux 安裝jdk-7u45-linux-x64.tar.gz

1、官網下載jdk-7u45-linux-x64.tar.gz 下載地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2、tar解壓：tar -x

第3步：在雲伺服器Ubuntu 16.04.4 LTS中配置jdk-8u191-linux-x64.tar.gz

在阿里雲中搭建大資料實驗環境第3步：在雲伺服器Ubuntu 16.04.4 LTS中配置jdk-8u191-linux-x64.tar.gz 前期準備1：在命令列輸入passwd +使用者名稱，修改密碼，若修改成功，則會返回password updated successfully&nbs

Linux下安裝jdk-8u131-linux-x64.tar.gz

1 、下載JDK,此處版本是1.8u131,實際操作以自己具體版本為準先檢視Linux系統是多少位（32位/64位）：getconf LONG_BIT 然後去官網下載JDK [jdk官方下載地址] http://www.oracle.com/technetwork/j

使用Docker 方式在Centos 7.0 安裝配置Sentry

sentry docker一、簡介sentry是一個強大的分布式報錯信息收集平臺，圖形化程度很高，可以幫助我們直觀的發現當前部署的系統存在哪些問題。二、安裝方式介紹官網鏈接：https://docs.sentry.io/官方提供了兩種安裝方式：Docker 和 python註：我這裏選擇使用Docker

Spark1.5.2 on Hadoop2.4.0 安裝配置

一、前言本文簡單介紹yarn安裝，主要介紹spark1.5.2on yarn模式安裝，僅供參考。二、

centos 7 mongodb4.0 安裝配置

添加 Owner system 註意 uri round res user cat 1、下載安裝 wget https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.0/x86_64/RPMS/mongodb-org-serve

阿里雲centOS7.4 安裝配置 vsftpd 3.0.2

1、阿里雲後臺開放 21 埠在阿里雲後臺新增安全組規則，開放ftp 21 埠 2、安裝vsftpd 安裝 yum install -y vsftpd 啟動vsftpd systemctl start vsftpd.service 開機自啟動vsftpd sy

CentOS7.0安裝配置Storm叢集

1.環境準備作業系統: CentOS7.0 Zookeeper版本：zookeeper-3.4.10 Storm版本：apache-storm-1.1.0 JDK版本：jdk1.8.0_77 Python版本：叢集配置如下： # os

大資料基礎（五）從零開始安裝配置Hadoop 2.7.2+Spark 2.0.0到Ubuntu 16.04

raw to spark 0 install ubuntu 14.04.01 desktop x64 1 system基礎配置《以下都是root模式》 1.3 root password sudo passwd root 1.5 root登入選項 a.在terminal下

【qt】ubuntu+openCV2.4.9+qt5.7.0安裝配置

原文：http://blog.csdn.net/shawn_ht/article/details/40795039 對原文精簡，以及自己遇到的問題補充說明，這裡先裝qt後裝opencv，因為需要WIT

Hadoop2.9+Hive3.0+Mysql8.0安裝配置，看這一篇就夠了

由於以上均是最新版本，網上以往的資料用起來幾乎都有多少的錯誤，不少的錯誤真的會把人搞瘋，近10篇博文結合我自己在外網上找到的一些方法，記錄下來。 hadoop的安裝推薦看這一篇：http://dblab.xmu.edu.cn/blog/install-hado

Ubuntu 14.04 64bit下Caffe + Cuda6.5/Cuda7.0 安裝配置教程

-a att html mode .net share surface art cores http://www.embeddedlinux.org.cn/emb-linux/entry-level/201612/21-6005.html 隨著深度學習快速發展的浪潮，許多有

Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)

hup dem current 格式 default dmv framework server1 上進 1下載hadoop 2安裝3個虛擬機並實現ssh免密碼登錄 2.1安裝3個機器 2.2檢查機器名稱

Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop環境的搭建

html -a 總結全分布式 .html oop details clas HR Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/716

Zabbix 4.0 安裝配置

unity rhel 用戶密碼 art conn order text load 先安裝主程序，檢查系統中是否有zabbix # rpm -qa | grep zabbix* 如沒有可以直接使用下來命令安裝 # rpm -i https://repo.zabbix

Tomcat6.0安裝配置及其在MyEclipse10上的配置

Tomcat6.0安裝配置及其在MyEclipse10上的配置 1、所用的Tomcat的版本是：apache-tomcat-6.0.37.exe； 2、雙擊後出現以下介面： 3、點選“Next”，出現以下介面： 4、點選“I Agree”

hive-3.0.0 安裝配置

hive是啥？就是一個數據倉庫，提供了一套類SQL查詢的方法，讓開發人員來組織資料。它把SQL轉換成了MapReduce，還對其進行了優化。果然是Hadoop中資料組織的利器。下載地址：http://mirror.bit.edu.cn/apache/hive/ 我的H

android studio 3.0 安裝配置

1. 安裝jdk1.8 2.複製android sdk 設定代理 mirrors.neusoft.edu.cn 埠 80 http代理更新sdk 安裝 android support repository /

apache-tomcat-7.0.42和jdk-7u79-linux-x64安裝教程

apache-tomcat-7.0.42和jdk-7u79-linux-x64安裝教程首先從這裡下載安裝包：https://download.csdn.net/download/xiaoxiaozhugong/10811728 1. jdk安裝步驟 cd /usr/local/inst

CentOS7.0安裝配置hadoop2.7.0 資源準備 資源下載： hadoop-2.7.0.tar.gz 密碼：727y jdk-8u45-linux-x64.tar.gz 密碼：d8bm

CentOS7.0安裝配置hadoop2.7.0

資源準備

linux 虛擬機器配置

配置Master無密碼登入所有Salve

進行jdk, hadoop軟體安裝

配置hadoop（先只在Master主機配置，配置完後傳入兩個Slave主機）

配置Hadoop的叢集

相關推薦

CentOS7.0安裝配置hadoop2.7.0 資源準備資源下載： hadoop-2.7.0.tar.gz 密碼：727y jdk-8u45-linux-x64.tar.gz 密碼：d8bm