1. 程式人生 > >Windows 10下編譯安裝Hadoop2.6

Windows 10下編譯安裝Hadoop2.6

Windows 10下安裝Hadoop2.6,Windows10下編譯64位Hadoop2.x。詳細記錄了Windows10版本下對Hadoop的編譯、安裝步驟,以及相關包或者軟體下載安裝過程。

  • 不需要在Cygwin下安裝Hadoop,官方也不推薦使用Cygwin。

  • Hadoop版本支援情況:Hadoop 2.2版本起包括Windows的原生支援。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二進位制檔案。

  • Windows版本支援情況:Hadoop官方人員開發、測試環境分別是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因為伺服器型號win32位的API相似,所以官方推測Windows7或者Windows Vista應該也是支援的。Windows XP Hadoop官方不測試也不支援。

總之,Windows版本的Hadoop需要在2.2之後可自行編譯,並且不支援Windows XP,在其他Windows平臺下,官方不予嚴格的支援(僅僅提供二進位制檔案,部分元件需要自行編譯)。

以下內容是具體實施,Hadoop叢集在Windows環境下支援情況調研與測試部署,羅列了Windows實際部署情況,以及所遇到的問題和解決方案。

1. 自行編譯Windows環境的二進位制包

Requirements:

* Windows System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer
* Windows SDK or Visual Studio 2010 Professional
* Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
* zlib headers (if building native code bindings for zlib)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

1. 配置編譯環境

1.1. 設定JDK環境

JAVA_HOME設定

jdk設定path

1.2. 安裝編譯工具maven

下載maven的zip包 將maven的根目錄放置系統變數path中

測試mvn -v

1.3. 安裝ProtocolBuffer

下載 先切換到帶有pom檔案路徑中

cd E:\IDE\protobuf-3.0.0-beta-3\java

通過mvn 安裝 mvn test 測試 mvn install

1.4. 安裝CMake

下載 安裝即可。

1.5. 安裝visual studio 2010之後(直接下載安裝,不再贅述) 或者安裝Windows SDK

下面關於Hadoop的文章您也可能喜歡,不妨看看:

2. 編譯安裝

設定環境編譯環境位數 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 設定安裝包環境 設定環境變數新增至將ZLIB_HOME至環境變數中 set ZLIB_HOME=C:\zlib-1.2.7 mvn編譯命令

mvn package  -Pdist,native-win -DskipTests -Dtar

相關推薦

Windows 10編譯安裝Hadoop2.6

Windows 10下安裝Hadoop2.6,Windows10下編譯64位Hadoop2.x。詳細記錄了Windows10版本下對Hadoop的編譯、安裝步驟,以及相關包或者軟體下載安裝過程。 不需要在Cygwin下安裝Hadoop,官方也不推薦使用Cygwin。

Windows 10 在python 3.6安裝scrapy框架包

第一步,開啟命令列視窗,使用pip指令,安裝wheel,pip install wheel  第二步,安裝lxml,pip install lxml 第三步,安裝PyOpenssl,pip install twisted 第四步,進入網站https://www.lfd.uci.

windows 10 64位安裝Python3.6.4

win 10 安裝Python3.6.41、下載Python3.6 windows版本的安裝包 Python官網地址:https://www.python.org 下載軟件包:python-3.6.4.exe 2、安裝Python3.6版本,右擊軟件,以管理員身份運行,選擇自定義安裝,在此

Windows 10無法安裝 CAD 2013/2014的解決方法

選擇 原因 dot 安裝日誌 RoCE 大量 9.png 關鍵人物 文件 最近打算在安裝win10的系統下安裝多個版本的CAD,之前安裝了08版本,打算再安裝2013版本。之前,使用的win7,安裝08和2014兩個版本共存沒有問題,拿同樣的軟件安裝到win10卻提示失敗,

apache2.2編譯安裝php5.6

安裝環境 1.centos6.6、apache2.2、php5.6 2.由於apache2.2是通過mod_php方式執行的php,在apache2.4版本中才過渡到php-fpm,所以本章不做php-fpm說明 外掛安裝 [[emai

linux編譯安裝python3.6.2即是升級本機的python2版本到3

cd /usr/local/src wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz            如果無法下載則下載到本地然後sz即可 tar -zxf  Python-3.6.2.tgz

centos 6.5編譯安裝php-7.1.6和 php memcached擴展

php 編譯安裝 memcached 0,安裝 php-7.1.6 依賴包# yum groupinstall "Development tools" "Desktop Platform Development" # yum -y install openssl-devel libcurl-dev

CentOS 6編譯安裝MySQL 5.6

是否 local profile pre utf8 readline 依賴 版本 centos 6 一:卸載舊版本 使用下面的命令檢查是否安裝有MySQL Server rpm -qa | grep mysql 有的話通過下面的命令來卸載掉 rpm -e mysql /

centos 6編譯安裝rrdtool-1.4.5.tar.gz 過不去

centos 6下編譯安裝rrdtool-1.4.5.tar.gz 過不去#tar zxvf rrdtool-1.4.5.tar.gz#cd rrdtool-1.4.5#./configure --prefix=/usr/local/rrdtool出現: configure: e

Windows 10安裝scrapy(pip方式,非wheel)

pytho www log compiler rap compile sof soft ref 1、安裝Microsoft Visual Studio Build Tools 打開下載鏈接,點擊“https://aka.ms/BuildTools”

Windows 10安裝配置Caffe並支持GPU加速(改)

nvi 基本 一個 應該 添加 它的 右鍵 分享圖片 vid 基本環境 建議嚴格按照版本來 - Windows 10 - Visual Studio 2013 - Matlab R2016b - Anaconda - CUDA 8.0.44 - cuDN

windows 10安裝cuda9.2總結

for 加速 win 文件 如果 驅動 too uda 同時 安裝需求 支持cuda的顯卡 支持cuda的操作系統版本 支持cuda的vs版本 cuda toolkit最後確定Windows 10 下安裝cuda9.2,同時安裝vs2015.3。許多geforce顯卡不支

在 CentOS 7上安裝並配置 Python 3.6 環境 超詳細的 Linux CentOS 編譯安裝python3 Linux編譯安裝python3

前言 按照此方法安裝保證以下報錯什麼的統統都沒有! 基礎環境 系統:centos7.4 軟體:python3 Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connect

linux編譯安裝配置php5.6.30過程

在第一次編譯安裝php5.6.30失敗後,參考了http://www.phpworld.cn/system/php/11.html的一些內容,第二次編譯安裝成功,特此記錄過程。 一、編譯安裝php5.6.30 安裝環境: # cat /etc/redhat-release CentOS

linux編譯安裝php7(相容現有的php5.6版本)

1.首先去php官網下載一個php7版本原始碼包 http://php.net/downloads.php,我這下載的是php7.2.13版本.  2.使用ftp或者linux的rz命令將包上傳到linux下,開始進行編譯安裝. 3.解壓安裝包 # tar -zxvf   

Windows 10CPU版caffe框架安裝心路教程

初次安裝caffe,耗費苦心終於安裝成功,下面總結一下自己遇到的問題以及解決的方法,小夥伴結合自己情況拿來參考。 前期準備:1,VS2013,2,Windows版caffe。無GPU的情況下不需要下載cuda和cudnn,配置過程中沒有修改環境變數。 這裡有個問題,我最初

CentOS 6.8編譯安裝MySQL 5.6.14

CentOS 6.8下編譯安裝MySQL 5.6.14 概述: 通過原始碼安裝高版本的5.6.14。 正文: 一:解除安裝舊版本 使用下面的命令檢查是否安裝有MySQL Server rpm -qa | grep mysql 有的話通過下面的命令來解除安裝掉 目前我們查詢到的

windows 10安裝Cisco VPN 5.0.07.X出錯

升級了windows 10之後,發現Cisco VPN安裝出了問題。折騰了很久,才找到了解決辦法,寫個短部落格記錄下解決方案。 1) 27850錯誤 如果報如下錯誤: Error 27850. Unable to manage networking

CentOS 6.4編譯安裝MySQL 5.6.14

概述: CentOS 6.4下通過yum安裝的MySQL是5.1版的,比較老,所以就想通過原始碼安裝高版本的5.6.14。 正文: 一:解除安裝舊版本 使用下面的命令檢查是否安裝有MySQL Server rpm -qa | grep mysql 有的話通過下面的命令來解除安裝掉 rpm -e

Windows環境安裝版MySQL 5.6.11安裝配置詳解

Windows環境下免安裝版MySQL 5.6.11安裝配置詳解 轉自 1. 下載 5.6.11.0.msi/from/http://cdn.mysql.com/      更多版本下載,請直接訪問:http://dev.mysql.com/downloads/