1. 程式人生 > >Hadoop2.7.3的安裝詳細過程(偽分散式)

Hadoop2.7.3的安裝詳細過程(偽分散式)

1.安裝java
2.設定ssh免密碼登入
3.安裝Hadoop

1.安裝java:

rpm -ivh jdk-8u101-linux-i586.rpm
然後設定環境變數
vi /etc/profile
在最末端新增:
#set java env
    JAVA_HOME=/usr/java/jdk1.8.0_101
    PATH=$JAVA_HOME/bin:$PATH
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME
    export PATH
    export CLASSPATH

最後,再在終端輸入java -version測試一下,到此,java便安裝結束了。

2.設定ssh免密碼登入
ssh-keygen -t rsa
這將會產生一個公鑰和私鑰
ssh-copy-id -i slaver1
連續按幾次enter直至結束
再來一次
ssh-copy-id -i slaver2

3.安裝hadoop
tar -xzvf hadoop-2.7.3.tar.gz
cd進入解壓後的資料夾
首先,先修改hadoop下面etc/hadoop裡面的5個檔案:
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop
1.core-site.xml


<configuration>
     <property>
             <name>fs.default.name</name>
             <value>hdfs://master:9000</value>
     </property>
     <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/hadoop/hadoop-2.7.3/tmp</value
>
</property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
2.yarn-site.xml
<configuration>


<!-- Site specific YARN configuration properties -->
        <property>
                        <name>yarn.resourcemanager.hostname</name>
                        <value>master</value>
        </property>
                <!-- reducer獲取資料的方式 -->
        <property>
                        <name>yarn.nodemanager.aux-services</name>
                        <value>mapreduce_shuffle</value>
        </property>
        <property>
                        <value>org.apache.mapred.ShuffleHandler</value>
        </property>
        <property>
                        <name>yarn.resourcemanager.address</name>
                        <value>master:8032</value>
        </property>
        <property>
                        <name>yarn.resourcemanager.scheduler.address</name>
                        <value>master:8030</value>
        </property>
        <property>
                        <name>yarn.resourcemanager.resource-tracker.address</name>
                        <value>master:8031</value>
        </property>
        <property>
                        <name>yarn.resourcemanager.admin.address</name>
                        <value>master:8033</value>
        </property>
        <property>
                        <name>yarn.resourcemanager.webapp.address</name>
                        <value>master:8088</value>
        </property>


</configuration>
3.mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
  <property>
     <name>mapred.job.tracker</name>
     <value>master:9001</value>
  </property>


</configuration>
4.hdfs-site.xml
<configuration>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/hadoop/hadoop-2.7.3/hdf/data</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/hadoop/hadoop-2.7.3/hdf/name</value>
                <final>true</final>
        </property>


</configuration>
5.hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_101
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

6.yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_101
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

hadoop.env.sh和yarn-env.sh這裡的後三行網上很多人都沒有寫,聽說64位的機器才需要加上,但是我的是32位的,沒有加上去仍然不行。。

然後把Hadoop資料夾發到其他主機上
scp -r /usr/hadoop slaver1:/usr/hadoop
scp -r /usr/hadoop slaver1:/usr/hadoop

在最後加上環境變數,所有的主機都要設定。
vi /etc/profile

#set hadoop env
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_LOG_DIR=/usr/hadoop/hadoop-2.7.3/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR

最後,啟動hadoop叢集
./sbin/start-all.sh

在終端輸入
[[email protected] ~]# jps
28597 NameNode
28934 ResourceManager
29800 Jps
28792 SecondaryNameNode
[[email protected] hadoop-2.7.3]# ./bin/hdfs dfsadmin -report
16/10/29 10:02:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
Configured Capacity: 97575411712 (90.87 GB)
Present Capacity: 79984197632 (74.49 GB)
DFS Remaining: 79984140288 (74.49 GB)
DFS Used: 57344 (56 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

Live datanodes (2):

Name: 192.168.183.84:50010 (slaver1)
Hostname: localhost.localdomain
Decommission Status : Normal
Configured Capacity: 49795620864 (46.38 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 8847638528 (8.24 GB)
DFS Remaining: 40947953664 (38.14 GB)
DFS Used%: 0.00%
DFS Remaining%: 82.23%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 29 10:02:28 EDT 2016

Name: 192.168.183.51:50010 (slaver2)
Hostname: localhost.localdomain
Decommission Status : Normal
Configured Capacity: 47779790848 (44.50 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 8743575552 (8.14 GB)
DFS Remaining: 39036186624 (36.36 GB)
DFS Used%: 0.00%
DFS Remaining%: 81.70%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 29 10:02:29 EDT 2016

到此,Hadoop安裝成功。

相關推薦

Hadoop2.7.3安裝詳細過程(分散式)

1.安裝java 2.設定ssh免密碼登入 3.安裝Hadoop 1.安裝java: rpm -ivh jdk-8u101-linux-i586.rpm 然後設定環境變數 vi /etc/profile 在最末端新增: #set java

ubuntu16+Hadoop2.7.3環境搭建(分散式

Hadoop 環境的搭建 一、安裝VMWare 虛擬機器                 虛擬機器版本VMware12,考慮到啟動速度,裝在固態硬碟中。 二、安裝Linux 安裝版本:ubuntu-16.04.1-server-amd64 此版本沒有圖形化介面,體積較小

Hadoop2.7.3+Spark2.1.0完全分散式叢集搭建過程

1.選取三臺伺服器(CentOS系統64位)  114.55.246.88 主節點  114.55.246.77 從節點  114.55.246.93 從節點     之後的操作如果是用普通使用者操作的話也必須知道root使用者的密碼,因為有些操作是得用root使用者操作。如

最新版hadoop2.7.1單機版與分散式安裝配置

前提:熟悉Linux系統操作,掌握基本的Linux命令 注意:安裝路徑中不能有任何中文字元和空格! 我安裝的是ubuntu14,使用者名稱是ubuntu,機器名是ubuntu,hadoop的版本是hadoop-2.7.1.tar.gz 一、在Ubuntu下建立hadoop

【原創 Spark動手實踐 1】Hadoop2.7.3安裝部署實際動手

dmi 遠程 nag proc host 一個 error img 連接 目錄: 第一部分:操作系統準備工作:   1. 安裝部署CentOS7.3 1611   2. CentOS7軟件安裝(net-tools, wget, vim等)   3. 更新CentOS

redhat linux系統7.2安裝詳細過程

安裝redhat linux系統7.2並詳述安裝過程 首先,在安裝之前有個安裝嚮導的步驟:典型—稍後安裝作業系統—Linux+RedHatEnterprise Linux7 64位—自定義存放位置—先分20G 然後設定一下,網路介面卡調成僅主機模式,使用ISO映象檔案見我們的Redhat

Spark之——Hadoop2.7.3+Spark2.1.0 完全分散式環境 搭建全過程

一、修改hosts檔案在主節點,就是第一臺主機的命令列下;vim /etc/hosts我的是三臺雲主機:在原檔案的基礎上加上;ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2其中的i

在VM虛擬機器上搭建Hadoop2.7.3+Spark2.1.0完全分散式叢集

1.選取三臺伺服器(CentOS系統64位) 114.55.246.88主節點   114.55.246.77 從節點   114.55.246.93 從節點      之後的操作如果是用普通使用者操作的話也必須知道root使用者的密碼,因為有些操作是得

MAC下hadoop2.7.3安裝

1、準備環境 作業系統:Mac OS X 10.11.6  JDK:1.8.0_111 Hadoop:2.7.3 2、配置ssh 首先確認能夠遠端登入  系統偏好設定-共享   在終端執行 ssh-keygen -t rsa 一路回車就行  會在~/.ss

Hadoop2.7.3搭建單機、分佈環境

1.下載jdk並安裝去官網下就可以了,下完之後把檔案移到/opt/Java下[email protected]:~/下載$ mv ./hadoop-2.7.2-src.tar.gz /opt/

【Hadoop】Hadoop2.7.3安裝Hive 2.1.0

第一步: 下載最新的hive,直接去apache 裡面找hive2.1.0下載就行。 第二步,解壓到伺服器 tar zxvf apache-hive-2.0.0-bin.tar.gz mv apache-hive-2.0.0-bin /hom

Hadoop安裝教程_分散式配置_CentOS7.x/Hadoop2.7.3

我只提醒下,這裡的坑。ssh登入時,切記用hadoop帳號登入,否則格式化的所有權不是hadoop,那麼無法啟動。 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參

Hadoop2.7.3單機分散式環境搭建

Hadoop2.7.3單機偽分散式環境搭建 作者:家輝,日期:2018-07-10 CSDN部落格: http://blog.csdn.net/gobitan 說明:Hadoop測試環境經常搭建,這裡也做成一個模板並記錄下來。 基礎環境

基於CentOS6.5系統Hadoop2.7.3完全分散式叢集搭建詳細步驟

 前言:本次搭建hadoop叢集使用虛擬機器克隆方式克隆slave節點,這樣做可以省去很多不必要的操作,來縮短我們的搭建時間。 一、所需硬體,軟體要求 使用 VMWare構建三臺虛擬機器模擬真實物理環境 作業系統:CentOS6.5 二、必備條件 hadoop搭建需

hadoop2.7.3完全分散式安裝-docker-hive1.2.1-hiveserver2-weave1.9.3

0.環境介紹: 1)ubuntu14.04 docker映象 地址:https://github.com/gaojunhao/ubuntu14.04 2)hadoop2.7.3 地址:http://www.apache.org/dyn/closer.cgi/hadoop/c

(學習筆記版)Hadoop入門(一):Hadoop2.7.3完全分布式集群安裝

min property per cal mon 分別是 master 修改 node 在這裏寫下安裝hadoop2.7.3版本的完全分布式的過程,因為剛開始學習hadoop不久,希望自己把學習的東西記錄下來,和大家一起分享,可能有錯誤的地方,還請大牛們批評指正,在我學習的

Centos7 安裝hadoop2.7.3和jdk1.8

配置 tin source 沒有 https prope font col 配置環境變量 下載好hadoop和jdk軟件包,傳到虛擬機上 第一步:安裝jdk並配置環境變量 解壓 tar -xvf 配置環境變量 vim /etc/profile #set ja

自制Hadoop分佈、叢集安裝詳細過程(vmware)

Hadoop單機版、偽分佈、叢集安裝教程推薦連結: http://dblab.xmu.edu.cn/blog/page/2/?s=Hadoop 注:vmware6.5及以上,執行命令基本相同,除了編輯檔案時“vi”指令替換為“vim”指令 一、下載安裝所需檔案   

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境   一、環境說明 個人理解:zookeeper可以獨立搭建叢集,hbase本身不能獨立搭建叢集需要和hadoop和hdfs整合 叢集環境至少需要3個節點(也就是3臺伺服器裝置):1個Master,2

hadoop2.7.3在centos7上部署安裝(單機版)

hadoop2.7.3在centos7上部署安裝(單機版)   (1)hadoop2.7.3下載 (前提:先安裝java環境) 下載地址:http://hadoop.apache.org/releases.html (注意是binary檔案,source那個是原始