1. 程式人生 > >Hadoop2.7.4在Windows 7(64位)詳細配置(完美版)

Hadoop2.7.4在Windows 7(64位)詳細配置(完美版)

hadoop環境搭建相對麻煩,需要安裝虛擬機器過著cygwin什麼的,所以通過查資料和摸索,在window上搭建了一個,不需要虛擬機器和cygwin依賴,相對簡便很多。

官網下載JDK 1.8版本

配置好java環境
這裡寫圖片描述

官網下載hadoop-2.7.4.tar.gz

解壓至無空格目錄下即可,下面是目錄結構:
這裡寫圖片描述

資料夾訪問許可權修改(Everyone)
這裡寫圖片描述

下載Hadoop 2.7.4 Windows 64位 編譯bin

某網友提供的檔案地址
將壓縮包裡的bin目錄(包含以下.dll和.exe檔案)檔案替換官網hadoop目錄下的bin目錄;

為Hadoop配置windows環境變數

右鍵單擊我的電腦 –>屬性 –>高階環境變數配置 –>高階選項卡 –>環境變數 –> 單擊新建HADOOP_HOME,如下圖
這裡寫圖片描述

這裡寫圖片描述

HADOOP_CONF_DIR 指定配置檔案的路徑為E:\WorkSoftWare\hadoop2.7.4\etc\hadoop
這裡寫圖片描述

hadoop環境測試:

開啟一個cmd視窗,hadoop version,顯示如下:
這裡寫圖片描述

修改Hadoop配置檔案(namenode,datanode執行讀取)

注意:配置檔案裡windows所有碟符前要加/,比如: /D:/XXXXXXXXXX

編輯“D:\WorkSoftware\hadoop2.7.4\etc\hadoop”下的配置檔案,

參考配置
core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
 <!--指定namenode的地址-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    <description
>
HDFS的URI,檔案系統://namenode標識:埠號</description> </property> <!--用來指定使用hadoop時產生檔案的存放目錄--> <property> <name>hadoop.tmp.dir</name> <value>/D:/WorkSoftware/hadoop2.7.4/workplace/tmp</value> <description>namenode上本地的hadoop臨時資料夾</description> </property> </configuration>

hdfs-site.xml:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--指定hdfs儲存資料的副本數量-->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數,配置預設是3,應小於datanode機器數量</description>
  </property>

    <property>
    <name>dfs.name.dir</name>
    <value>/D:/WorkSoftware/hadoop2.7.4/workplace/name</value>
    <description>namenode上儲存hdfs名字空間元資料 </description> 
    </property>

    <property>   
     <name>dfs.data.dir</name>  
     <value>/D:/WorkSoftware/hadoop2.7.4/workplace/data</value>
     <description>datanode上資料塊的物理儲存位置</description>
    </property>  
</configuration>

mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--告訴hadoop以後MR執行在YARN上--> 
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

yarn-site.xml

<?xml version="1.0"?>
<configuration>

<!--nomenodeManager獲取資料的方式是shuffle-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

<!--指定Yarn的老大(ResourceManager)的地址-->   
<!--****************-->  

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property> 
</configuration>

啟動

格式化系統檔案:

hdfs namenode -format

格式化完成後到hadoop/sbin下執行,啟動hadoop

start-dfs

這裡寫圖片描述

也可以執行“start-all”,

start-all

它將會啟動以下程序
這裡寫圖片描述

這裡寫圖片描述

至此,hadoop服務已經搭建完畢。

相關推薦

Hadoop2.7.4在Windows 7(64)詳細配置(完美)

hadoop環境搭建相對麻煩,需要安裝虛擬機器過著cygwin什麼的,所以通過查資料和摸索,在window上搭建了一個,不需要虛擬機器和cygwin依賴,相對簡便很多。 官網下載JDK 1.8版本 配置好java環境 官網下載hadoop-2.7.

Ubuntu 16.04 64中文版 配置 LAMP+phpMyAdmin PHP(7.0)開發環境

1.安裝 Apache Web伺服器. 終端:sudo apt-get install apache2 apache2-doc -y,然後測試是否安裝成功。 瀏覽器位址列輸入:http://localhost,回車,出現下圖所示內容則代表成功!這步一般沒什麼錯。 2.安裝PHP7.0和A

CentOS 7.4 64安裝配置MySQL8.0

第一步:獲取mysql YUM源 image.png 點選下載 image.png 獲取到下載連結:https://repo.mysql.com//mysql80-community-release-el7-1.noarch.rpm 第二步:下載和安

微軟.NET Framework 4.7.1 [32+64]完整包,帶靜默安裝參數!

windows 相關軟件名稱:.NET Framework 4.7..1軟件大小:65.5M運行環境:vista+win7 靜默安裝參數:/quiet /norestart下載地址:https://pan.baidu.com/s/1qX8ktFQ微軟.NET Framework 4.7.1 [32+64位]完

centos 7 安裝 java8 64

檢視是否安裝了java,java -version 檢視內建java,rpm -qa | grep java 或者 rpm -qa | grep jdk 如果存在內建的,先刪除掉 rpm -e --nodeps java-1.7.... 如果找不到open

Linux(CentOS 7)(64)系統下安裝Pymol(1.8.6)

PyMOL簡介 PyMOL是一款生物大分子三維結構顯示軟體,其中“Py”是指此軟體使用Python語言編寫,“MOL”是指Molecule。 PyMOL官網是http://www.PyMOL.or

將python2.7 新增進64系統 的登錄檔

將以下內容拷貝到文件,並儲存為xxx.py 執行即可註冊 import sys from _winreg import*# tweak as necessary version = sys.version[:3] installpath = sys.prefix  reg

Win7下安裝mysql-5.7.16(64

本文為大家分享了mysql-5.7.16(64位)安裝配置方法,供大家參考,具體內容如下 一、安裝總體思路:在官網下載zip安裝包;解壓拷貝到C盤下;配置環境變數;修改mysql根目錄下配置檔案my-default.ini;初始化mysql,安裝mysql,啟動mys

VMware10 安裝Centos6.5(64) 詳細步驟

VMwareWorkstation10 中安裝Centos6.5(64位)步驟: 1. 點選“新建虛擬機器”,到嚮導視窗。選擇自定義—>下一步。 2. 選擇虛擬機器硬體相容workstation10.0,下一步。 3. 選擇稍後安裝系統,下一步。 4

Intellij IDEA記憶體設定(3264啟動配置檔案)

開啟 IDEA 安裝目錄,看到有一個 bin 目錄,其中有兩個 vmoptions 檔案,需針對不同的JDK進行配置: 32 位:idea.exe.vmoptions 64 位:idea64.exe.vmoptions -Xms512m -Xmx1024m -XX:

opencv2.4.13+vs2015+win10 64環境配置

  1. 環境變數配置 在電腦中找到環境變數的設定視窗,可以按如下路徑去查詢——我的電腦—>屬性—>高階系統設定—>高階—>環境變數,看不懂請百度。 在系統變數中找到變數名為path的專案,選中後雙擊進去。  在

Windows 10(64配置Caffe執行環境的基本流程

    進行深度學習可以使用Caffe,我使用windows配置了一下Caffe執行環境,非常簡單。這裡把官網的配置過程搬運過來,以備參考。   配置環境: Windows 10(64位)+ Vis

WIN10 64+GTX1060配置tensorflow-GPU加速

這是一篇血淚史,博主花了一天的時間,終於配置好了tensorflow GPU加速環境。成功的那一刻,心想著必須留下一篇部落格。 博主在參考下面兩篇部落格 http://blog.csdn.net/sb19931201/article/details/53648615 http://www

64ubuntu 配置andorid環境建立工程沒有R.java檔案

64位ubuntu 配置andorid環境建立或倒入工程沒有R.java檔案 錯誤描述:[2012-11-26 13:43:08 - adb] Unexpected exception 'Cannot run program "/opt/adt-bundle-linux/s

win7 64配置caffe的Python介面

1、Python版本選擇2.7 2、按照要求安裝以下模組,並且最好每個模組都是使用whl檔案進行安裝,注意版本的要求 Cython>=0.19.2 numpy>=1.7.1 scipy>=0.13.2 scikit-image>=0.9.3 matp

Win10-64配置Java開發執行環境

本機環境:Win10-64位  1-下載JDK  術語解釋: JVM(Java Virtual Machine—Java虛擬機器)JRE(Java Runtime Environment—Java執

64win7配置tomcat7

轉自:http://hi.baidu.com/caoshansh/item/62770bb41b634bea4ec7fd70 1.JDK安裝完成後,在http://tomcat.apache.org/下載tomcat7(64位),將tomcat包解壓到任意目錄,我解壓到

PLSQL Developer連線Oracle11g 64資料庫配置詳解

1. 下載instantclient-basic-win32-11.2.0.1.0(oracle官網下載地址:http://www.oracle.com/technetwork/topics/wi

vtk6.1.0+qt5.3.2+cmake2.8.12.2+win7+64安裝配置過程

系統win7 64位,已裝vs2012,所有軟體安裝及開啟都用管理員身份。 下面詳細介紹QT和VTK結合開發的環境配置步驟 1.      下載軟體版本及地址 ①      qt的安裝檔案qt-opensource-windows-x86-msvc2012_opengl-5

WIN7+64+ndk配置

想學ndk,不知道ndk是什麼?有Android開發經驗的都知道jdk,sdk.好了其實他們三個處於同一等級,你怎麼理解jdk,sdk就怎麼理解ndk,當然它們各有各的作用 一、NDK產生的背景   Android平臺從誕生起,就已經支援C、C++開發。眾所周知,An