1. 程式人生 > >MacBook Pro18 安裝hadoop2.7.7版本和eclipse外掛安裝

MacBook Pro18 安裝hadoop2.7.7版本和eclipse外掛安裝

(話外)這幾天,剛剛入手一臺macbook pro18,心情非常激動,雖然已經對linux系統很熟悉,但是剛開始幾天用mac還是不習慣,就趕緊的安裝完的hadoop來跑實驗。
現在來談談安裝hadoop踩過的坑。Mac安裝hadoop和其他系統差不多隻是有點地方不同。
1.安裝工具
Hadoop 2.7.7。
eclipse-Mac版
2.在home下設定java和hadoop的環境路徑
即進入~/.bash_profile 設定hadoop和java 路徑

值得注意的是java路徑的最後是/Home。  大家別把JAVA弄進去了 3.ssh免密碼登陸
我安裝網上很多教程
直接在系統偏好設定-共享-〉遠端登入中開啟遠端登入如下圖:
把允許訪問物件設定為所有人

然後執行下面程式碼:
3.1ssh-keygen -t rsa
3.2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
按照網上教程做到這 一般的電腦就可以ssh localhost 然後就直接登陸上了。
但是我剛買的電腦也不知道什麼原因,設定到這一切OK,但是SSH 還是需要密碼我就很納悶。
最後在一篇部落格中看到要加上:
3.3. chmod og-wx ~/.ssh/authorized_keys
然後就ok了

4.接下來配置hadoop
偽分散式的hadoop的配置,其實並不是太難。主要需要配置4個檔案
安裝解壓好Hadoop後在hadoop檔案中 /etc/hadoop中進行配置4個檔案
4.1配置Hadoop-env.sh
這個檔案主要是要將hadoop中的程式語言和java語言聯絡起來,即
修改改資料夾中java的路徑
一般情況下Mac中java安裝路徑就是這個 如果你找不到的話可以使用which java來進行查詢
4.2配置core-site.xml(配置老大)
這個檔案是對namenode 資訊進行配置即配置其埠號9000,後面會用到。

在這裡插入圖片描述

4.3配置hdfs-site.xml.
這裡配置複製的的個數,和儲存的地方,一般情況下如果不設定把資料存到某個地方,他會預設把產生的資料放到他預設的地方去,時間長了會沾滿,所以我們可以先把資料的資料修改配置到tmp中。

在這裡插入圖片描述

4.4 yarn 配置
直接貼上下面程式碼就可以

yarn.nodemanager.aux-services mapreduce_shuffle

配置完初始化,執行
hdfs namenode -format
去sbin下執行./start-all.sh就可以
用jps檢視
這樣就成功了,但是我之前配置的時候datanode沒有執行,是因為在上面的配置中我們本來自己產生了一tmp會和原有的衝突,所以要先把現有tmp刪除掉再 重新編譯Hadoop namenode -format 再./start-all.sh就可以了

5.接下來是配置eclipse外掛
首先我去eclipse.org上面去下載了一個mac版的eclipse,很奇怪的是eclipse只有50兆左右(windows一般都是幾百兆,也許是Mac版精簡一點吧)
下載好之後就要下載hadoop的外掛。
這一步有很多部落格寫過,外掛可以自己從hadoop原始碼中間自己去拷貝出來打一個jar包 放到eclipse中,但是現在有很多人已經把hadoop外掛包弄好了,可以直接去github上下載

https://github.com/winghc/hadoop2x-eclipse-plugin
你從下載的包名可以看出,這是很多版本的外掛集合,所以我們要從中間找出一個適合自己hadoop版的外掛。
外掛jar包在/release下,我的hadoop是2.7.7版本的,所以我選擇了和我版本最近的hadoop-eclipse-plugin-2.6.0.jar.拷貝下來。
然後去找eclipse安裝的檔案位置,mac版電腦檔案安裝位置和windows類似,從訪達中應用程式中找到eclipse.

然後點選右鍵顯示包內容,進去之後在/contents/eclipse/plugins下把剛剛的外掛jar包加進去,就行了。
下一步,你要去重新啟動eclipse,在eclipse下找到preference,給eclipse安裝找到hadoop安裝路徑。
在這裡插入圖片描述
下面的路徑是你安裝hadoop的位置
在這裡插入圖片描述

值得注意的是,很多人加完包之後,在preference中沒有看到hadoop的選項,這裡因為你的eclipse中間更新的部分沒有更新的新加入外掛的包的記錄。
還是在eclipse安裝檔案中刪除原先外掛的記錄,然後重新啟動才行,即刪除/contents/eclipse/configuration/org.eclipse.update,然後重新啟動就可以看到在preference下hadoop選項(如果是在eclipse安裝好後一次都沒開啟eclipse,則可以跳過這一步。)
在這裡插入圖片描述
到這一步基本上就安裝的差不多了,然後建立一個hadoop map/reduce的工程。然後配置一下hadoop的位置。如下圖

在這裡插入圖片描述
在這裡插入圖片描述
左邊的埠號填mapped-site.xml中填的埠號
右邊的埠號填core-site.xml中的埠號
填好後就配好了,接下來就可以跑程式了,最好去下載一個wordcount程式去測試一下你的配置是否成功。