1. 程式人生 > >centos 下 hadoop 3 單機安裝配置

centos 下 hadoop 3 單機安裝配置

參考: www.cnblogs.com/forbeat/p/8179877.html

修改主機名:    1、在/etc/hosts 增加 192.168.56.102 hadoopmaster    2、在/etc/sysconfig/network 修改 HOSTNAME=hadoopmaster

重啟centos:reboot

建立使用者:useradd hadoop建立使用者密碼:passwd hadoop 然後根據提示修改密碼建立目錄:mkdir /home/hadoop/program修改許可權:chown -R hadoop:hadoop /home/hadoop配置免密登陸:ssh-keygen -t rsa cd ~/.sshcp id_rsa.pub authorized_keys測試免密登陸:ssh localhost,不用輸入密碼為成功1、jdk安裝配置:

下載:
wget http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz

解壓至/home/hadoop/program:tar -zxvf jdk-8u151-linux-x64.tar.gz配置環境變數(root下):在/etc/profile 末尾加上:
#set JAVA_HOME
export JAVA_HOME=/home/hadoop/program/jdk1.8.0_151   ## 這裡要注意目錄要換成自己解壓的jdk 目錄
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH
然後讓它生效:source /etc/profile
驗證:java -version

2、hadoop安裝配置:

下載:wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz解壓至/home/hadoop/program:  tar -zxvf hadoop-3.0.0配置環境變數:在/etc/profile 增加
# set HADOOP_HOME
export HADOOP_HOME=/home/hadoop/program/hadoop-3.0.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib
然後讓它生效:source /etc/profile配置hadoop相關檔案:進入/home/hadoop/program/hadoop-3.0.0/sbinhadoop-env.sh 匯入JAVA_HOME:

    export JAVA_HOME=/home/hadoop/program/jdk1.8.0_151   ## 這裡要注意目錄要換成自己解壓的jdk 目錄

core-site.xml,配置hdfs埠和地址,臨時檔案存放地址
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoopmaster:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop/tmp</value>
</configuration>
修改hdfs-site.xml 配置副本個數以及資料存放的路徑
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>/home/hadoop/hadoop/hdfs/data</value>
    </property>
</configuration>
修改mapred-site.xml,配置使用yarn框架執行mapreduce處理程式,與之前版本多了後面兩部
不配置mapreduce.application.classpath這個引數mapreduce執行時會報錯:
Error: Could not
find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>
            /usr/local/hadoop3/etc/hadoop,
            /usr/local/hadoop3/share/hadoop/common/*,
            /usr/local/hadoop3/share/hadoop/common/lib/*,
            /usr/local/hadoop3/share/hadoop/hdfs/*,
            /usr/local/hadoop3/share/hadoop/hdfs/lib/*,
            /usr/local/hadoop3/share/hadoop/mapreduce/*,
            /usr/local/hadoop3/share/hadoop/mapreduce/lib/*,
            /usr/local/hadoop3/share/hadoop/yarn/*,
            /usr/local/hadoop3/share/hadoop/yarn/lib/*
        </value>
    </property>
</configuration>

修改yar-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoopmaster</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

workers檔案裡新增主機名:hadoopmaster

驗證HADOOP:1、namenode格式化:hadoop namenode -format2、啟動Hadoop:start-all.sh3、輸入jps ,顯示NameNode、DataNode、SecondaryNameNode、NodeManager、ResourceManager4、若有缺漏,檢視對應日誌:/home/hadoop/program/hadoop-3.0.0/logs目錄下

相關推薦

centos hadoop 3 單機安裝配置

參考: www.cnblogs.com/forbeat/p/8179877.html修改主機名:    1、在/etc/hosts 增加 192.168.56.102 hadoopmaster    2、在/etc/sysconfig/network 修改 HOSTNAME=

centosgitlab的簡單安裝配置

src com cto pat bsp 地方 png style block 一、安裝前配置yum源 #wget https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh

Centos 7.0 hadoop叢集模式安裝(以3個節點為例,master,slave1,slave2)超詳細

一、目標: 構建由3臺PC機構成的hadoop環境,安裝完成後使用HDFS、Mapreduce、Hbase等完成一些小例子。 二、硬體需求: 3臺Centos 7.0 系統PC機,每臺PC機4G記憶

Centos 7.4 Zabbix3.4的安裝配置

信息 目錄 shang align host 啟動 3.1 oca gin Zabbix3.4的安裝配置一、 Zabbix環境準備1. 基礎環境準備 OS版本:centos 7.4 64bit Zabbix版本:3.4

centosJdk1.8的安裝配置

安裝之前,首先要確定centos是否集成了自帶的openjdk,如果有,我們先要刪除自帶的openjdk,具體步驟如下: 1)在系統終端輸入:rpm -qa|grep java,如果有openjdk的話,會出現類似於XXXX_openjdk_XXX的資訊; 2)

Linuxzookeeper單機安裝配置

Zookeeper安裝zookeeper的安裝分為三種模式:單機模式、叢集模式和偽叢集模式。1.下載進入要下載的版本的目錄,選擇.tar.gz檔案下載下載連結:http://archive.apache.org/dist/zookeeper/環境:Centos7, JDK1.

Ubuntu Hadoop 1.2.1 配置安裝

本文從我的另外一個部落格轉過來,以後將大資料方面的都放在此部落格。 本文一步步記錄了 Ubuntu 環境安裝Hadoop 1.2.1 ,搭建單機模式以及偽分散式模式,希望對各位和我一樣的菜鳥有所幫助,共同學習進步,歡迎交流。嘗試2.1安裝未遂,由於檔案結構不太一樣缺乏相

centos 部署Hadoop-3.0-高效能叢集(一)安裝

Hadoop概述:Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。 Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS分散式檔案系統為海

hadoop(單機)安裝配置

1.安裝JDK yum -y install java-1.8.0-openjdk* 2.在相應目錄下安裝hadoop wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop

hadoop單機安裝配置

1.安裝jdk 在java官網 yum 安裝 yum install java-1.7.0-openjdk* -y   2.安裝hadoop 修改ect的配置檔案 yarn-site.xml <!--告訴NodeManager

Centos使用壓縮包安裝MySQL5.7

san lib 重命名 壓縮 datadir microsoft wid 大小 -s 今天在自己的centos服務器上安裝mysql,碰到的問題相當的多,裝個mysql遠比在windows復雜的多。這裏通過查找的一些博文(包括前幾篇)來記錄安裝mysql時的各種問題。可能步

centosnodejs,npm的安裝和nodejs的升級

ted ble entos nodejs install ins npm print nbsp 安裝: $ sudo yum install epel-release$ sudo yum install nodejs$ node -v$ yum install -y npm

CentOS Hadoop 環境搭建--Hadoop

mkdir left res 修改文件 wordcount cat 創建 work tar ---恢復內容開始--- ①解壓Hadoop到自定目錄下面(這裏解壓到/opt/hadoop目錄下)   tar -zxvf hadoop-2.5.0.tar.gz -C /opt/

centosjdk、jre安裝

/etc/ nvi etc com runtime entos dir 添加 clas 1.在/usr/目錄下創建java目錄 [[email protected] ~]# mkdir/usr/java [[email protected] ~]#

CentOS elasticsearch集群安裝

pri iou per property stream removing odi cif there 1.進入root目錄並下載elasticsearch cd /root wget https://download.elastic.co/elasticsearch/el

centOS Linux 中的 JDK 配置

編輯 linux ont 測試 成功 proc 配置文件 water sha 一、下載jdk 放在 /usr/local/src/jdk下解壓 命令:解壓後:二、用 vim 進行編輯 如果是最小安裝的Linux需要安裝 vim 命令(yum install vim*)

MongoDB3.6.3 windows安裝配置、啟動

.org 數據庫路徑 nal gap 好用 onf 日誌文件 新建 默認 1、官網下載MongoDB的安裝包 2、安裝中一直Next即可安裝成功,不過需要註意的是:   可以自定義安裝,選擇安裝路徑      值得註意的還有,安裝中因為下載compass十分緩慢。把

CentOS的Mysql的安裝和使用

lan eas 刪除數據 匹配 iad 輸入密碼 查詢語句 所在 global 1.使用安裝命令 :yum -y install mysql mysql-server mysql-devel 安裝完成卻發現Myserver安裝缺失,在網上找原因,原來是因為CentOS 7上

MySql 8.0.11 在win10的zip非安裝配置

cmd blank sans 位置 路徑 密碼 IT alt mysql 在win10使用mysql8.0.11的zip包進行配置時,搜到的教程很多坑,特此總結成功配置的方法。   1、下載非安裝的zip包       mysql 8.0.11 64位   2、解壓zi

centossvn的ldap認證配置

ins attr 讀寫 test emc centos eal swd 完成 前提:完成svn的基本安裝 一、安裝sasl相關組件 #yum install -y cyrus-sasl cyrus-sasl-lib cyrus-sasl-plain 二、查看SASL