1. 程式人生 > >Centos7安裝Hadoop-- 偽分散式配置

Centos7安裝Hadoop-- 偽分散式配置

1.安裝jdk8

2.配置免密登陸

2.安裝hadoop

(1)下載Hadoop

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

(2)解壓

tar zxvf hadoop-2.7.3.tar.gz -C /app

(3)配置

cd hadoop-2.7.3/etc/hadoop

①vi hadoop-env.sh

# 修改Java環境變數

export JAVA_HOME=/app/jdk1.8.0_181

② vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/tmp/hadoop_data/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/tmp/hadoop_data/dfs/data</value>
    </property>
</configuration>

3. vi core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/tmp/hadoop_data</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

④建立儲存目錄

cd tmp

mkdir hadoop_data

5.執行Hadoop

cd hadoop-2.7.3/bin

 ./hdfs namenode -format

18/08/28 19:33:54 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/08/28 19:33:54 INFO util.ExitUtil: Exiting with status 0
18/08/28 19:33:54 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1

⑥cd /sbin

# 啟動fdfs

./start-dfs.sh  

Starting namenodes on [0.0.0.0]
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
ECDSA key fingerprint is 55:ae:3d:63:67:9d:66:f0:f9:c0:6c:45:e8:a8:c9:e3.
Are you sure you want to continue connecting (yes/no)? yes
0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.
0.0.0.0: starting namenode, logging to /app/hadoop-2.7.3/logs/hadoop-root-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /app/hadoop-2.7.3/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /app/hadoop-2.7.3/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

jps -m

[[email protected] sbin]# jps -m
18816 SecondaryNameNode
18627 DataNode
18533 NameNode
18940 Jps -m

⑦ 測試

cd bin

# 檢視hdfs目錄

./hdfs dfs -ls  / 

# 建立目錄

./hdfs dfs -mkdir /test

[[email protected] bin]# ./hdfs dfs -ls /       
Found 1 items
drwxr-xr-x   - root supergroup          0 2018-08-28 19:49 /test

相關推薦

Centos7安裝Hadoop-- 分散式配置

1.安裝jdk8 2.配置免密登陸 2.安裝hadoop (1)下載Hadoop wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz (2)解壓 tar

linux下安裝hadoop分散式叢集

1.    在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html  這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌

HBase安裝分散式配置教程

HBase安裝是在我的另一篇部落格hadoop在centos系統未分散式安裝的基礎上進行的,HBase下載地址:HBase,不建議選擇最新版本的,容易出現相容性問題。 HBase安裝步驟 解壓到/usr/local 路徑下 sudo tar -zxf ~

安裝Hadoop分散式踩過的坑

折騰了好幾天的問題,終於解決了。雖然這次遇到的問題沒在網路上找到答案,不過,解決問題的過程或多或少受到了網上一些答案的啟發。下面我將分享自己遇到的問題,並提供解決方法。 (一)、相關資料 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html  #官

mac安裝hadoop分散式

目錄 一、 下載jdk 二、 配置hadoop 三、 配置ssh,無密碼登入 四、 啟動hadoop 五、 環境配置 java version "1.8.0" Java(TM) SE Runtime Environment (build 1.

Ubuntu16.04 安裝hadoop分散式1

最近要做畢設了,題目嘛應該用的到hadoop,以前上課都是用虛擬機器搭建Master+1slave,總感覺用的不爽,於是多方借鑑搭建了偽分散式。 中間也遇到了很多問題,於是趁現在比較閒,記錄下。 0.環境 本次使用 Ubuntu 16.04 64位 作為系統環境,安

CentOS7環境下分散式安裝配置hadoop

(一) 設定靜態IP地址 cd /etc/sysconfig/network-scripts vim ifcfg-ens33 修改IPADDR,NETMASK,GATEWAY為對應的值 修改BOOTPROTO為none 儲存並退出 重啟網絡卡 servi

Centos7配置Hadoop分散式環境

Centos 版本:7 Hadoop版本:2.7.4 Java版本:1.8 一、安裝JDK 官網下載jdk 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.

Hadoop安裝教程_單機/分散式配置_CentOS6.4/Hadoop2.6.0

 2015-12-17 (updated: 2017-03-02) 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參考了官方安裝教程,步驟詳細,輔以適當說明,相信按照步驟來,都

Hadoop安裝教程_單機/分散式配置_Hadoop2.6.4/Ubuntu16.04

1. 簡介 本教程適合於原生 Hadoop 2,包括 Hadoop 2.6.4, Hadoop 2.7.1 等版本,看了很多資料,自己搭建了好幾次,特做個總結,按照步驟來都能成功。 2. 環境 本教程使用 Ubuntu 16.04 64位 作為系統環境(U

Hadoop安裝教程_單機/分散式配置_騰訊雲/Ubuntu Server 16.04.1 LTS 64位/Hadoop2.9.1

環境 騰訊雲伺服器 系統:Ubuntu Server 16.04.1 LTS 64位 Hadoop版本:hadoop-2.9.1 提示:雲伺服器下的Ubuntu圖形化介面親測很卡,慎用!所以本教程全程shell配置。 裝好了 Ubuntu 系統之後,在安裝 Ha

Hadoop安裝教程_單機/分散式配置_hadoop-2.7.5/Ubuntu14.04

    本篇部落格為學習總結部落格,學習字源來自廈門大學資料庫實驗室,連結為:http://dblab.xmu.edu.cn/blog/install-hadoop/    十分感謝!!!一、 建立新使用者    首先按 ctrl+alt+t 開啟終端視窗,輸入如下命令建立新

Hadoop安裝教程_分散式配置_CentOS7.x/Hadoop2.7.3

我只提醒下,這裡的坑。ssh登入時,切記用hadoop帳號登入,否則格式化的所有權不是hadoop,那麼無法啟動。 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參

Hadoop安裝教程_單機/分散式配置_Hadoop2.7.3/Ubuntu16.04

當開始著手實踐 Hadoop 時,安裝 Hadoop 往往會成為新手的一道門檻。儘管安裝其實很簡單,書上有寫到,官方網站也有 Hadoop 安裝配置教程,但由於對 Linux 環境不熟悉,書上跟官網上簡略的安裝步驟新手往往 Hold 不住。加上網上不少教程也甚是坑,導

Hadoop分散式環境搭建之Linux作業系統安裝

Hadoop偽分散式環境搭建之Linux作業系統安裝 本篇文章是接上一篇《超詳細hadoop虛擬機器安裝教程(附圖文步驟)》,上一篇有人問怎麼沒寫hadoop安裝。在文章開頭就已經說明了,hadoop安裝會在後面寫到,因為整個系列的文章涉及到每一步的截圖,導致文章整體很長。會分別先對虛擬機器

hadoop分散式元件安裝

一、版本建議 Centos V7.5 Java V1.8 Hadoop V2.7.6 Hive V2.3.3

大資料之Hadoop學習(環境配置)——Hadoop分散式叢集搭建

title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分

Hadoop分散式安裝!!

軟江的安裝目錄: /opt/modules/ 安裝前的準備 1、關閉和禁用SELinux # systemctl stop firewalld # service iptables stop # vim /etc/sysconfig/selinux 設定SELIN

Hadoop-2.9.2單機版安裝分散式模式)

一、環境 硬體:虛擬機器VMware、win7 作業系統:Centos-7 64位 主機名: hadoopServerOne 安裝使用者:root軟體:jdk1.8.0_181、Hadoop-2.9.2 二、安裝jdk 1.建立hadoop目錄,並賦許可權chmod 777 hadoop2.下載jdk-

Hadoop安裝分散式搭建

本文介紹apache  hadoop的第二種搭建模式:偽分散式。關於偽分散式的搭建基於上篇《Hadoop安裝之standAlone單機》文章中standAlone搭建的基礎之上進行擴建。 安裝伺服器規劃 伺服器IP 192.168.254.1