centos 下 hadoop 3 單機安裝配置
參考: www.cnblogs.com/forbeat/p/8179877.html
修改主機名: 1、在/etc/hosts 增加 192.168.56.102 hadoopmaster 2、在/etc/sysconfig/network 修改 HOSTNAME=hadoopmaster重啟centos:reboot
建立使用者:useradd hadoop建立使用者密碼:passwd hadoop 然後根據提示修改密碼建立目錄:mkdir /home/hadoop/program修改許可權:chown -R hadoop:hadoop /home/hadoop配置免密登陸:ssh-keygen -t rsa cd ~/.sshcp id_rsa.pub authorized_keys測試免密登陸:ssh localhost,不用輸入密碼為成功1、jdk安裝配置:下載: wget http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz
解壓至/home/hadoop/program:tar -zxvf jdk-8u151-linux-x64.tar.gz配置環境變數(root下):在/etc/profile 末尾加上:然後讓它生效:source /etc/profile#set JAVA_HOME export JAVA_HOME=/home/hadoop/program/jdk1.8.0_151 ## 這裡要注意目錄要換成自己解壓的jdk 目錄 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
驗證:java -version
2、hadoop安裝配置:
下載:wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz解壓至/home/hadoop/program: tar -zxvf hadoop-3.0.0配置環境變數:在/etc/profile 增加 :然後讓它生效:source /etc/profile配置hadoop相關檔案:進入/home/hadoop/program/hadoop-3.0.0/sbinhadoop-env.sh 匯入JAVA_HOME:# set HADOOP_HOME export HADOOP_HOME=/home/hadoop/program/hadoop-3.0.0 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib
export JAVA_HOME=/home/hadoop/program/jdk1.8.0_151 ## 這裡要注意目錄要換成自己解壓的jdk 目錄
core-site.xml,配置hdfs埠和地址,臨時檔案存放地址<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoopmaster:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
</configuration>
修改hdfs-site.xml 配置副本個數以及資料存放的路徑<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/hadoop/hadoop/hdfs/data</value>
</property>
</configuration>
修改mapred-site.xml,配置使用yarn框架執行mapreduce處理程式,與之前版本多了後面兩部不配置mapreduce.application.classpath這個引數mapreduce執行時會報錯:
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property> </configuration>
修改yar-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoopmaster</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
workers檔案裡新增主機名:hadoopmaster
驗證HADOOP:1、namenode格式化:hadoop namenode -format2、啟動Hadoop:start-all.sh3、輸入jps ,顯示NameNode、DataNode、SecondaryNameNode、NodeManager、ResourceManager4、若有缺漏,檢視對應日誌:/home/hadoop/program/hadoop-3.0.0/logs目錄下相關推薦
centos 下 hadoop 3 單機安裝配置
參考: www.cnblogs.com/forbeat/p/8179877.html修改主機名: 1、在/etc/hosts 增加 192.168.56.102 hadoopmaster 2、在/etc/sysconfig/network 修改 HOSTNAME=
centos下gitlab的簡單安裝配置
src com cto pat bsp 地方 png style block 一、安裝前配置yum源 #wget https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh
Centos 7.0 下hadoop叢集模式安裝(以3個節點為例,master,slave1,slave2)超詳細
一、目標: 構建由3臺PC機構成的hadoop環境,安裝完成後使用HDFS、Mapreduce、Hbase等完成一些小例子。 二、硬體需求: 3臺Centos 7.0 系統PC機,每臺PC機4G記憶
Centos 7.4下 Zabbix3.4的安裝配置
信息 目錄 shang align host 啟動 3.1 oca gin Zabbix3.4的安裝配置一、 Zabbix環境準備1. 基礎環境準備 OS版本:centos 7.4 64bit Zabbix版本:3.4
centos下Jdk1.8的安裝及配置
安裝之前,首先要確定centos是否集成了自帶的openjdk,如果有,我們先要刪除自帶的openjdk,具體步驟如下: 1)在系統終端輸入:rpm -qa|grep java,如果有openjdk的話,會出現類似於XXXX_openjdk_XXX的資訊; 2)
Linux下zookeeper單機安裝配置
Zookeeper安裝zookeeper的安裝分為三種模式:單機模式、叢集模式和偽叢集模式。1.下載進入要下載的版本的目錄,選擇.tar.gz檔案下載下載連結:http://archive.apache.org/dist/zookeeper/環境:Centos7, JDK1.
Ubuntu下 Hadoop 1.2.1 配置安裝
本文從我的另外一個部落格轉過來,以後將大資料方面的都放在此部落格。 本文一步步記錄了 Ubuntu 環境安裝Hadoop 1.2.1 ,搭建單機模式以及偽分散式模式,希望對各位和我一樣的菜鳥有所幫助,共同學習進步,歡迎交流。嘗試2.1安裝未遂,由於檔案結構不太一樣缺乏相
centos 部署Hadoop-3.0-高效能叢集(一)安裝
Hadoop概述:Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。 Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS分散式檔案系統為海
hadoop(單機)安裝配置
1.安裝JDK yum -y install java-1.8.0-openjdk* 2.在相應目錄下安裝hadoop wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop
hadoop單機安裝配置
1.安裝jdk 在java官網 yum 安裝 yum install java-1.7.0-openjdk* -y 2.安裝hadoop 修改ect的配置檔案 yarn-site.xml <!--告訴NodeManager
Centos下使用壓縮包安裝MySQL5.7
san lib 重命名 壓縮 datadir microsoft wid 大小 -s 今天在自己的centos服務器上安裝mysql,碰到的問題相當的多,裝個mysql遠比在windows復雜的多。這裏通過查找的一些博文(包括前幾篇)來記錄安裝mysql時的各種問題。可能步
centos下nodejs,npm的安裝和nodejs的升級
ted ble entos nodejs install ins npm print nbsp 安裝: $ sudo yum install epel-release$ sudo yum install nodejs$ node -v$ yum install -y npm
CentOS 下 Hadoop 環境搭建--Hadoop
mkdir left res 修改文件 wordcount cat 創建 work tar ---恢復內容開始--- ①解壓Hadoop到自定目錄下面(這裏解壓到/opt/hadoop目錄下) tar -zxvf hadoop-2.5.0.tar.gz -C /opt/
centos下jdk、jre安裝
/etc/ nvi etc com runtime entos dir 添加 clas 1.在/usr/目錄下創建java目錄 [[email protected] ~]# mkdir/usr/java [[email protected] ~]#
CentOS下 elasticsearch集群安裝
pri iou per property stream removing odi cif there 1.進入root目錄並下載elasticsearch cd /root wget https://download.elastic.co/elasticsearch/el
centOS 下 Linux 中的 JDK 配置
編輯 linux ont 測試 成功 proc 配置文件 water sha 一、下載jdk 放在 /usr/local/src/jdk下解壓 命令:解壓後:二、用 vim 進行編輯 如果是最小安裝的Linux需要安裝 vim 命令(yum install vim*)
MongoDB3.6.3 windows安裝配置、啟動
.org 數據庫路徑 nal gap 好用 onf 日誌文件 新建 默認 1、官網下載MongoDB的安裝包 2、安裝中一直Next即可安裝成功,不過需要註意的是: 可以自定義安裝,選擇安裝路徑 值得註意的還有,安裝中因為下載compass十分緩慢。把
CentOS下的Mysql的安裝和使用
lan eas 刪除數據 匹配 iad 輸入密碼 查詢語句 所在 global 1.使用安裝命令 :yum -y install mysql mysql-server mysql-devel 安裝完成卻發現Myserver安裝缺失,在網上找原因,原來是因為CentOS 7上
MySql 8.0.11 在win10下的zip非安裝配置
cmd blank sans 位置 路徑 密碼 IT alt mysql 在win10使用mysql8.0.11的zip包進行配置時,搜到的教程很多坑,特此總結成功配置的方法。 1、下載非安裝的zip包 mysql 8.0.11 64位 2、解壓zi
centos下svn的ldap認證配置
ins attr 讀寫 test emc centos eal swd 完成 前提:完成svn的基本安裝 一、安裝sasl相關組件 #yum install -y cyrus-sasl cyrus-sasl-lib cyrus-sasl-plain 二、查看SASL