1. 程式人生 > >Mac環境下安裝Hadoop偽分佈模式

Mac環境下安裝Hadoop偽分佈模式

Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。這裡講述在Mac上安裝Hadoop偽分佈模式的過程。

環境:Mac OS X 10.11 + Hadoop-2.6.5

1 下載

官網下載Hadoop(下載連結),選擇binary檔案下載,source原始碼是需要自己編譯後使用。

2 安裝(2.6.5版本)

2.1 hdfs-site.xml

將下載的檔案解壓,進入/etc/hadoop/資料夾,編輯hdfs-site.xml檔案,加入以下配置資訊

<configuration>
<property>  
        <name
>
dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/Users/kangkang/hadoop/hadoop-2.6.5/dfs/name</value> </property> <property> <name
>
dfs.datannode.data.dir</name> <value>/users/lichengjin/hadoop/hadoop-2.6.5/dfs/data</value> </property> <property> <name>dfs.permissions</name> <value>true</value> <description>'true'開啟許可權,'false'關閉許可權</description
>
</property> </configuration>
2.2 hadoop-env.sh

更改/etc/hadoop/資料夾下的另外一個檔案hadoop-env.sh,修改配置JDK的目錄:

# The java implementation to use.
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home

到此就配置完成了。

3 啟動Hadoop。

執行命令:

sbin/start-all.sh

可能會提示輸入幾次密碼,為避免下次啟動多次資料密碼,可以通過ssh配置解決(參考Hadoop叢集配置無密碼登入)。

通過命令

jps

檢視執行狀態

[MacBook-Pro]:apache-phoenix-4.9.0-HBase-1.1-bin kk$ jps
8113 HMaster
562 
1348 NameNode
1428 DataNode
1525 SecondaryNameNode
11470 Jps
1630 ResourceManager
1710 NodeManager
8942 Main

相關推薦

Mac環境安裝Hadoop分佈模式

Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。這裡講述在Mac上安裝Hadoop偽分佈模式的過程。 環境:Mac OS X 10.11 + Hadoop-2.6.5 1 下載 官網下載Hadoop(下載連結),選擇binary檔案下載,

Ubuntu16.04安裝hadoop(分佈模式)

主要參考的文章為: https://blog.csdn.net/wangjia55/article/details/53160679 https://www.cnblogs.com/87hbteo/p/7606012.html 安裝版本:       &

Linux部署Hadoop分佈模式

Hadoop版本為1.2.1 Distribution為Fedora19並使用hadoop賬號安裝 第一步:配置ssh本地登入證書(雖然為偽分佈模式,Hadoop依然會使用SSH進行通訊) [[email protected] ~]$ which ssh /usr

Hadoop 安裝分佈模式配置

安裝 下載 jdk x64版本 tar -xzvf jdk-8u191-linux-x64.tar.gz /usr/soft解壓檔案到/usr/soft目錄下 配置環境變數 開啟environment : sudo vi /etc/environm

(二)hadoop分佈模式安裝

本文以偽分散式模式搭建hadoop 1、三種安裝模式: 單機模式:無法使用HDFS,只能使用MapReduce,主要目的是在本機測試mapreduce程式碼 偽分散式模式:使用一臺機器,使用多個執行緒模擬多臺真實機器,模擬真實的分散式環境 完全分散式模式:用多臺機器(虛

Hadoop-1.2.1安裝HBase(分佈模式)

我是在hadoop1.2.1版本的基礎上安裝0.98.6版本的hbase。 安裝步驟前面和安裝HBase單機模式是一樣的  (可參考我的另一篇文章:                 http://blog.csdn.net/zhangxbj/article/details/

linux安裝hadoop分散式叢集

1.    在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html  這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌

mac環境安裝mysql

      一,下載mysql   官網“Community “ 下會看到“MySQL Community Server”下方有一個“download”點選。       在Mac OS上的MySQL的版

Mac環境安裝PHP及使用xdebug除錯

Mac環境下安裝PHP及使用xdebug除錯 最近在公司裡需要寫一些PHP指令碼,因此又重新看了一下PHP的基礎語法.由於本人的使用Mac,因此這裡僅以Mac下PHP的安裝及使用xdebug除錯為例,記錄環境搭建步驟. 安裝PHP Mac下home-brew是一個非常優秀便捷的包管理器,

Hadoop分佈模式的搭建

準備工作: 1、成功安裝Linux(CentOS)系統。 安裝CentOS 7詳見:https://blog.csdn.net/zxdspaopao/article/details/83277479 2、成功安裝jdk。 安裝jdk詳見:https://blog.csdn.net/z

Mac環境安裝Myeclipse以及破解的方法

近日,參照網上的步驟在mac環境下面安裝myeclipse和破解,但是,基本都是不行的,要麼就是直接把windows環境下面的破解步驟搬過來,要麼就是不詳細,經過一番探索之後,終於破解成功了。下面是具體步驟。 一、安裝myeclipse 二、破解myecl

Mac環境安裝RabbitMQ

1、官網下載RabbitMQ,直接在官網下載壓縮包,然後在本地解壓。2、在啟動RabbitMQ之前,確保是否安裝有openssl,且版本為1.x以上。2.1、檢視命令:openssl version結果:2.2 、當openssl的版本小於1.x時,需要升級openssl版本

Mac環境安裝Sass

步驟一:安裝ruby (1)安裝 RVM     命令列視窗依次執行以下命令     ①安裝: $curl -L https://get.rvm.io | bash -s stable     ②

Hadoop實踐 | VMware搭建Hadoop分佈模式

環境:物理機Win10 VMware14 虛擬機器Ubuntu16.04LTS 準備工作 建立三臺虛擬機器,使用者名稱需要相同(本文使用的jackherrick),主機名推薦master slave1 slave2 安裝VMware Tool

MAC環境安裝MAVEN

1.從官網下載MAVEN 地址:https://maven.apache.org/download.cgi 2.有四種檔案格式:下載的是apache-maven-3.3.9-bin.zip 3.解壓縮apache-maven-3.3.9-bin.zip 4.用vim開啟終端配置環境變

mac搭建hadoop3.1.1分佈模式 全網最詳細教程!

最近實習使用到了hadoop,那今天就出一個使用mac搭建hadoop3.1.1的詳細教程。幫助大家避免安裝的坑! 首先需要安裝一個mac神器:Homebrew,相信使用mac的童鞋都知道吧!Homebrew是一個包管理器,是Mac上的軟體安裝管理工具,類似於Linux中的apt-get,擁有安

Mac環境安裝AndroidStudio

好久沒玩Android了,記得第一次敲Android程式碼還是在大學的時候。以前用的都是Windows的作業系統,一直就想在Mac上執行Android,正好今天來試試。 要在Mac上執行Android

mac環境安裝虛擬機器win7+loadrunner破解漢化

某天,老大和我說:“要有loadrunner。” 可是等度娘之後發現,該軟體木有mac版本。 在不願意上傳到網上測試和換windows系統的情況下,只能用虛擬機器的方式來解決問題。 其實這就是個整合貼。 先說一下思路。 安裝虛擬機器——安裝虛擬機器內的系統——安裝loa

Mac環境安裝執行splash

最近需要使用scrapy爬蟲做一些開發,用到了splash。我本機是mac環境,跳著看資料,導致碰到了一些坑,記錄一下mac如何安裝執行splash 1、下載安裝 DockerToolbox(下載地址) 下載完成以後,會安裝下面3個app。 點選第

Mac環境安裝和配置Python虛擬環境

如何搭建虛擬環境? 安裝虛擬環境的命令 : sudo pip install virtualenv sudo pip install virtualenvwrapper 如果沒安裝pip會出現 pip: command not found,此時需要進行 sudo