Mac環境下安裝Hadoop偽分佈模式
Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。這裡講述在Mac上安裝Hadoop偽分佈模式的過程。
環境:Mac OS X 10.11 + Hadoop-2.6.5
1 下載
官網下載Hadoop(下載連結),選擇binary檔案下載,source原始碼是需要自己編譯後使用。
2 安裝(2.6.5版本)
2.1 hdfs-site.xml
將下載的檔案解壓,進入/etc/hadoop/資料夾,編輯hdfs-site.xml檔案,加入以下配置資訊
<configuration>
<property>
<name >dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/Users/kangkang/hadoop/hadoop-2.6.5/dfs/name</value>
</property>
<property>
<name >dfs.datannode.data.dir</name>
<value>/users/lichengjin/hadoop/hadoop-2.6.5/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>true</value>
<description>'true'開啟許可權,'false'關閉許可權</description >
</property>
</configuration>
2.2 hadoop-env.sh
更改/etc/hadoop/資料夾下的另外一個檔案hadoop-env.sh,修改配置JDK的目錄:
# The java implementation to use.
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home
到此就配置完成了。
3 啟動Hadoop。
執行命令:
sbin/start-all.sh
可能會提示輸入幾次密碼,為避免下次啟動多次資料密碼,可以通過ssh配置解決(參考Hadoop叢集配置無密碼登入)。
通過命令
jps
檢視執行狀態
[MacBook-Pro]:apache-phoenix-4.9.0-HBase-1.1-bin kk$ jps
8113 HMaster
562
1348 NameNode
1428 DataNode
1525 SecondaryNameNode
11470 Jps
1630 ResourceManager
1710 NodeManager
8942 Main
相關推薦
Mac環境下安裝Hadoop偽分佈模式
Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。這裡講述在Mac上安裝Hadoop偽分佈模式的過程。 環境:Mac OS X 10.11 + Hadoop-2.6.5 1 下載 官網下載Hadoop(下載連結),選擇binary檔案下載,
Ubuntu16.04安裝hadoop(偽分佈模式)
主要參考的文章為: https://blog.csdn.net/wangjia55/article/details/53160679 https://www.cnblogs.com/87hbteo/p/7606012.html 安裝版本: &
Linux下部署Hadoop偽分佈模式
Hadoop版本為1.2.1 Distribution為Fedora19並使用hadoop賬號安裝 第一步:配置ssh本地登入證書(雖然為偽分佈模式,Hadoop依然會使用SSH進行通訊) [[email protected] ~]$ which ssh /usr
Hadoop 安裝及偽分佈模式配置
安裝 下載 jdk x64版本 tar -xzvf jdk-8u191-linux-x64.tar.gz /usr/soft解壓檔案到/usr/soft目錄下 配置環境變數 開啟environment : sudo vi /etc/environm
(二)hadoop偽分佈模式安裝
本文以偽分散式模式搭建hadoop 1、三種安裝模式: 單機模式:無法使用HDFS,只能使用MapReduce,主要目的是在本機測試mapreduce程式碼 偽分散式模式:使用一臺機器,使用多個執行緒模擬多臺真實機器,模擬真實的分散式環境 完全分散式模式:用多臺機器(虛
Hadoop-1.2.1安裝HBase(偽分佈模式)
我是在hadoop1.2.1版本的基礎上安裝0.98.6版本的hbase。 安裝步驟前面和安裝HBase單機模式是一樣的 (可參考我的另一篇文章: http://blog.csdn.net/zhangxbj/article/details/
linux下安裝hadoop偽分散式叢集
1. 在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html 這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌
mac環境下安裝mysql
一,下載mysql 官網“Community “ 下會看到“MySQL Community Server”下方有一個“download”點選。 在Mac OS上的MySQL的版
Mac環境下安裝PHP及使用xdebug除錯
Mac環境下安裝PHP及使用xdebug除錯 最近在公司裡需要寫一些PHP指令碼,因此又重新看了一下PHP的基礎語法.由於本人的使用Mac,因此這裡僅以Mac下PHP的安裝及使用xdebug除錯為例,記錄環境搭建步驟. 安裝PHP Mac下home-brew是一個非常優秀便捷的包管理器,
Hadoop偽分佈模式的搭建
準備工作: 1、成功安裝Linux(CentOS)系統。 安裝CentOS 7詳見:https://blog.csdn.net/zxdspaopao/article/details/83277479 2、成功安裝jdk。 安裝jdk詳見:https://blog.csdn.net/z
Mac環境下安裝Myeclipse以及破解的方法
近日,參照網上的步驟在mac環境下面安裝myeclipse和破解,但是,基本都是不行的,要麼就是直接把windows環境下面的破解步驟搬過來,要麼就是不詳細,經過一番探索之後,終於破解成功了。下面是具體步驟。 一、安裝myeclipse 二、破解myecl
Mac環境下安裝RabbitMQ
1、官網下載RabbitMQ,直接在官網下載壓縮包,然後在本地解壓。2、在啟動RabbitMQ之前,確保是否安裝有openssl,且版本為1.x以上。2.1、檢視命令:openssl version結果:2.2 、當openssl的版本小於1.x時,需要升級openssl版本
Mac環境下安裝Sass
步驟一:安裝ruby (1)安裝 RVM 命令列視窗依次執行以下命令 ①安裝: $curl -L https://get.rvm.io | bash -s stable ②
Hadoop實踐 | VMware搭建Hadoop偽分佈模式
環境:物理機Win10 VMware14 虛擬機器Ubuntu16.04LTS 準備工作 建立三臺虛擬機器,使用者名稱需要相同(本文使用的jackherrick),主機名推薦master slave1 slave2 安裝VMware Tool
MAC環境下安裝MAVEN
1.從官網下載MAVEN 地址:https://maven.apache.org/download.cgi 2.有四種檔案格式:下載的是apache-maven-3.3.9-bin.zip 3.解壓縮apache-maven-3.3.9-bin.zip 4.用vim開啟終端配置環境變
mac搭建hadoop3.1.1偽分佈模式 全網最詳細教程!
最近實習使用到了hadoop,那今天就出一個使用mac搭建hadoop3.1.1的詳細教程。幫助大家避免安裝的坑! 首先需要安裝一個mac神器:Homebrew,相信使用mac的童鞋都知道吧!Homebrew是一個包管理器,是Mac上的軟體安裝管理工具,類似於Linux中的apt-get,擁有安
在Mac環境下安裝AndroidStudio
好久沒玩Android了,記得第一次敲Android程式碼還是在大學的時候。以前用的都是Windows的作業系統,一直就想在Mac上執行Android,正好今天來試試。 要在Mac上執行Android
mac環境下安裝虛擬機器win7+loadrunner破解漢化
某天,老大和我說:“要有loadrunner。” 可是等度娘之後發現,該軟體木有mac版本。 在不願意上傳到網上測試和換windows系統的情況下,只能用虛擬機器的方式來解決問題。 其實這就是個整合貼。 先說一下思路。 安裝虛擬機器——安裝虛擬機器內的系統——安裝loa
Mac環境下安裝執行splash
最近需要使用scrapy爬蟲做一些開發,用到了splash。我本機是mac環境,跳著看資料,導致碰到了一些坑,記錄一下mac如何安裝執行splash 1、下載安裝 DockerToolbox(下載地址) 下載完成以後,會安裝下面3個app。 點選第
Mac環境下安裝和配置Python虛擬環境
如何搭建虛擬環境? 安裝虛擬環境的命令 : sudo pip install virtualenv sudo pip install virtualenvwrapper 如果沒安裝pip會出現 pip: command not found,此時需要進行 sudo