1. 程式人生 > >hadoop2.7.0-偽分佈5分鐘快速搭建

hadoop2.7.0-偽分佈5分鐘快速搭建

1關閉防火牆 

(防止發生ui介面無法登陸)

#關閉防火牆
service iptables stop
#檢視防火牆開機啟動狀態
chkconfig iptables --list
#關閉防火牆開機啟動
chkconfig iptables off

2.安裝hadoop和jdk  

(可以直接執行下面程式碼)

#create a director hadoop
mkdir /hadoop

#tar pakage
tar -xzvf hadoop-2.7.0.tar.gz  -C /hadoop/
tar -xzvf jdk-8u65-linux-x64.tar.gz  -C /hadoop/
tar -xvf  hadoop-native-64-2.7.0.tar -C /hadoop/hadoop-2.7.0/lib/native/  

#add enviromnet variable
echo  'export JAVA_HOME=/hadoop/jdk1.8.0_65' >> /etc/profile
echo  'export HADOOP_HOME=/hadoop/hadoop-2.7.0' >> /etc/profile
echo  'export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin' >> /etc/profile
source /etc/profile

3.修改hadoop的配置檔案

檔案都在 /hadoop/hadoop-2.7.0/etc/hadoop

3.1修改hadoop-env.sh 檔案

export JAVA_HOME=/hadoop/jdk1.8.0_65

3.2修改core-site.xml

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
	</property>
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-2.7.0/tmp</value>
	</property>
</configuration>

3.3修改檔案hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
     </property>
        <property>
        <name>dfs.namenode.name.dir</name>
         <value>/hadoop/hadoop-2.7.0/dfs/name</value>
    </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/hadoop/hadoop-2.7.0/dfs/data</value>
        </property>
</configuration>

3.4修改檔案mapred-site.xml

重新命名檔案 mv mapred-site.xml.template mapred-site.xml 並編輯
<configuration>
	<!-- 指定mr執行在yarn上 -->
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
	</property>
</configuration>

3.5編輯檔案yarn-site.xml 

<configuration>
	<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>localhost</value>
	</property>
	<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
	</property>
</configuration>

4.格式化namenode

hdfs namenode -format

5.啟動namenode和yarn

#啟動namenode和yarn
cd /hadoop/hadoop-2.7.0/
sbin/start-dfs.sh 
sbin/start-yarn.sh  
若沒有配置免登陸,請多次輸入密碼

6.驗證hadoop

[[email protected] hadoop-2.7.0]# jps
3056 DataNode
2961 NameNode
3237 SecondaryNameNode
3343 Jps

附件下載地址連結:http://pan.baidu.com/s/1o7FkPho 密碼:oblr

(內附了在centos6下一鍵安裝hadoop2.7.0的壓縮包hadoop_one_install.zip)

相關推薦

hadoop2.7.0-分佈5分鐘快速搭建

1關閉防火牆  (防止發生ui介面無法登陸) #關閉防火牆 service iptables stop #檢視防火牆開機啟動狀態 chkconfig iptables --list #關閉防火牆開機啟動 chkconfig iptables off2.安裝hadoop和jd

Ubuntu + Hadoop2.7.3分佈搭建

1.在virtualbox上設定共享目錄 將 JDK 和 hadoop 壓縮包上傳到Ubuntu: 參考連結:https://blog.csdn.net/qq_38038143/article/details/83017877 2.JDK安裝 在 /usr/loca

hadoop2.7.6分佈模式配置

1、本文目標是在linux單機環境下配置hadoop2.7.6的偽分佈模式。 2、在hadoop-2.7.6/etc/hadoop目錄下修改如下配置檔案內容(如果沒有配置檔案,自己建立一個即可):2.1、core-site.xml: <configuration>   &

(一)大資料-Hadoop2.7.3分佈搭建

關閉防火牆 關閉當前登陸防火牆 檢視防火牆狀態 service iptables status 關閉防火牆 service iptables stop 關閉系統防火牆(即系統啟動時,不開啟防火牆) 檢視系統啟動 chkconfig --list 關閉系統啟動防火牆 chkconfig iptables o

Hadoop2.6.0分佈環境搭建

Hadoop2.6.0偽分佈環境搭建 用到的軟體: 一、安裝jdk: 1、要安裝的jdk,我把它拷在了共享資料夾裡面。 (用優盤拷也可以) 2、我把jdk拷在了使用者資料夾下面。 (其他地方也可以,不過路徑要相應改變) 3、執行復制安裝解壓命令:  解壓完畢:

hadoop2.2.0 分佈環境配置

3、安裝hadoop2.2 將下載的hadoop2.2.tar.gz解壓到一個目錄,然後進行配置(cd $HADOOP_HME/etc/hadoop): (1)編輯hodoop-env.sh,修改以下對應行為: export JAVA_HOME=/usr/lib

hadoop2.2.0分佈安裝

一、安裝虛擬機器 安裝過程可以在網上查詢。 二、安裝Linux系統 系統可以Redhat、CentOS。這裡用的是CentOS。安裝過程可以網上檢視。 三、偽分散式安裝 3.1準備Linux環境 ★輔助工具 PieTTY、WinSCP               Fil

hadoop2.2.0分佈下安裝hive

1.環境及軟體介紹:CentOS-6.4-x86_64-bin-DVD1.isohadoop-2.2.0hive-0.12.0mysql(為CentOS6.4自帶版本為MySQL5.1.66). 2.MySQL的安裝和解除安裝 使用rpm –qa|grep mysql檢視已

大資料(Hadoop2.7.3分佈搭建)

安裝準備: vmware10 Centos6.5 64位版本 JDK1.8linux32位版 Hadoop2.7.3版

微信公共號(企業號)開發框架-gochat的從零開始教程(二): 5分鐘快速搭建自己的公共號

    上一章裡我們把前期準備和環境配置已經完成啦,本章講一下怎麼通過5分鐘快速搭建自己的公共號~     首先,前往github頁面下載gochat框架的原始碼 ,原始碼中已經包含了一個最基礎的公共號開發模版。(這裡非常非常希望大家在下載的

[實戰乾貨]30分鐘快速搭建hexo3.7.0 + next主題6.4教程(持續更新)

30分鐘即可完成一個帶評論、打賞、搜尋、RSS、分類、標籤等功能的部落格 高效的搭建讓博主更加專注於內容的生產 歡迎關注博主的個人部落格 東行不西遊 準備工作 必須安裝git和node,官網有各平臺詳細的安裝過程 準備一張頭像和網站favicon

hadoop2.7.0實踐- WordCount

path static nts sdn 步驟 popu cer token apache 環境要求 說明:本文檔為wordcount的mapreduce job編寫及執行文檔。 操作系統:Ubuntu14 x64位 Hadoop:Hadoop 2.

Zookeeper-5分鐘快速掌握分布式應用程序協調服

form info class isa client 查看服務是否啟動 ats clean 進入 一、Zookeeper 安裝 1.zookeeper支持brew安裝。 ? ~ brew info zookeeper zookeeper: stable 3.4.10 (

5分鐘快速打造WebRTC視頻聊天<轉>

and cert git clone img user contain 這位 配置 rom 原文地址: 5分鐘快速打造WebRTC視頻聊天 百度一下WebRTC,我想也是一堆。本以為用這位朋友( 搭建WebRtc環境 )的SkyRTC-demo 就可以一馬平川的實現聊天

前端模組化-5分鐘快速入門RequireJs

各位開發專案的時候引用JS都會遇到以下的情景 產生AMD規範的背景 因為使用各種外掛,或者團隊協同合作,產生多個js檔案, 假如使用的JQ外掛,則必須先引用jquery庫才能夠正常執行, JS檔案之間強依賴關係,讓我們不敢動檔案的引入順序。 並且,在渲染頁面的過程中,同步讀取JS檔案會

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分散式叢集環境   一、環境說明 個人理解:zookeeper可以獨立搭建叢集,hbase本身不能獨立搭建叢集需要和hadoop和hdfs整合 叢集環境至少需要3個節點(也就是3臺伺服器裝置):1個Master,2

cdh5.7.0分散式叢集之spark-2.2.0安裝

基本環境及軟體: 軟體版本 軟體包 centos-6.4   JDK-1.8 jdk-8u191-linux-x64.tar.gz hadoo

cdh5.7.0分散式叢集之hive安裝

基本環境及軟體: 軟體版本 軟體包 centos-6.4   JDK-1.8 jdk-8u191-linux-x64.tar.gz hadoo

cdh5.7.0分散式叢集之hadoop安裝

基本環境及軟體: 軟體版本 軟體包 centos-6.4   JDK-1.8 jdk-8u191-linux-x64.tar.gz hadoo

PHP 7.3.0, 7.2.13, 7.1.25, 7.0.33 和 5.6.39 釋出

   PHP 開發團隊同時釋出了五個版本:7.3.0、7.2.13、7.1.25、7.0.33 和 5.6.39 。 PHP 7.3.0 Released PHP 7.0.33 Released PHP 7.1.25 Released PHP 7.2.13 Relea