1. 程式人生 > >Hadoop入門系列(一)Window環境下搭建hadoop和hdfs的基本操作

Hadoop入門系列(一)Window環境下搭建hadoop和hdfs的基本操作

1.去官網下載hadoop。

1>選擇映象網站,選清華的映象的網站。


2>找個自己喜歡版本的hadoop,下載好將壓縮包解壓。

 

2.找對應版本的winutil。因為hadoop主要基於linux編寫,這個winutil.exe主要用於模擬linux下的目錄環境。因此hadoop放在windows下執行的時候,需要這個輔助程式才能執行。Github和csdn基本對應版本的都有。下載好解壓放入hadoop的bin裡,hadoop.dll放入window\Ssytem32\中。

csdn:

https://download.csdn.net/download/cpp_yangzuoshi/10164025


github:

https://github.com/steveloughran/winutils


3.配置hadoop相關xml。

1>首先確保環境變數中有JAVA_HOME,java相關程式,都會預設呼叫JAVA_HOME,注意“Program Files”因為有空格不被識別。可用PROGRA~1替代。

2>配置4個xml。先進入hadoop\etc\hadoop。

配置core-stie.xml。

配置hdfs-site.xml。

配置mapred-site.xml.template。

配置yarn-site.xml。

4.至此hadoop就可以用了。

1>將hadoop目錄裡的bin和sbin新增到環境變數中。

2>開啟cmd。輸入start-all.cmd,會啟動hdfs和yarn服務。jps檢視程序。stop-all.cmd停止服務。


3>Localhost:50070和Localhost:8088檢視。



5.注意事項:

1>我是使用的hadoop2.9.0依賴jdk8,jdk9和10均不能正常使用hadoop。

2>使用前hadoop namenode -format

3>jps無法檢視java程序的問題。由於更換jdk導致,清除一下Appdata內的Tamp就好了

hdfs的基本操作:(和linux很想)

在hdfs中建立目錄,注意user是根目錄


向hdfs上傳檔案

檢視hdfs檔案目錄


(第一次分享不周之處,希望大家多多提醒)