MacBook Pro18 安裝hadoop2.7.7版本和eclipse外掛安裝
(話外)這幾天,剛剛入手一臺macbook pro18,心情非常激動,雖然已經對linux系統很熟悉,但是剛開始幾天用mac還是不習慣,就趕緊的安裝完的hadoop來跑實驗。
現在來談談安裝hadoop踩過的坑。Mac安裝hadoop和其他系統差不多隻是有點地方不同。
1.安裝工具
Hadoop 2.7.7。
eclipse-Mac版
2.在home下設定java和hadoop的環境路徑
即進入~/.bash_profile 設定hadoop和java 路徑
3.ssh免密碼登陸
我安裝網上很多教程
直接在系統偏好設定-共享-〉遠端登入中開啟遠端登入如下圖:
然後執行下面程式碼:
3.1ssh-keygen -t rsa
3.2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
按照網上教程做到這 一般的電腦就可以ssh localhost 然後就直接登陸上了。
但是我剛買的電腦也不知道什麼原因,設定到這一切OK,但是SSH 還是需要密碼我就很納悶。
最後在一篇部落格中看到要加上:
3.3. chmod og-wx ~/.ssh/authorized_keys
然後就ok了
4.接下來配置hadoop
偽分散式的hadoop的配置,其實並不是太難。主要需要配置4個檔案
安裝解壓好Hadoop後在hadoop檔案中 /etc/hadoop中進行配置4個檔案
4.1配置Hadoop-env.sh
這個檔案主要是要將hadoop中的程式語言和java語言聯絡起來,即
修改改資料夾中java的路徑
4.2配置core-site.xml(配置老大)
這個檔案是對namenode 資訊進行配置即配置其埠號9000,後面會用到。
4.3配置hdfs-site.xml.
這裡配置複製的的個數,和儲存的地方,一般情況下如果不設定把資料存到某個地方,他會預設把產生的資料放到他預設的地方去,時間長了會沾滿,所以我們可以先把資料的資料修改配置到tmp中。
4.4 yarn 配置
直接貼上下面程式碼就可以
配置完初始化,執行
hdfs namenode -format
去sbin下執行./start-all.sh就可以
用jps檢視
5.接下來是配置eclipse外掛
首先我去eclipse.org上面去下載了一個mac版的eclipse,很奇怪的是eclipse只有50兆左右(windows一般都是幾百兆,也許是Mac版精簡一點吧)
下載好之後就要下載hadoop的外掛。
這一步有很多部落格寫過,外掛可以自己從hadoop原始碼中間自己去拷貝出來打一個jar包 放到eclipse中,但是現在有很多人已經把hadoop外掛包弄好了,可以直接去github上下載
你從下載的包名可以看出,這是很多版本的外掛集合,所以我們要從中間找出一個適合自己hadoop版的外掛。
外掛jar包在/release下,我的hadoop是2.7.7版本的,所以我選擇了和我版本最近的hadoop-eclipse-plugin-2.6.0.jar.拷貝下來。
然後去找eclipse安裝的檔案位置,mac版電腦檔案安裝位置和windows類似,從訪達中應用程式中找到eclipse.
然後點選右鍵顯示包內容,進去之後在/contents/eclipse/plugins下把剛剛的外掛jar包加進去,就行了。
下一步,你要去重新啟動eclipse,在eclipse下找到preference,給eclipse安裝找到hadoop安裝路徑。
下面的路徑是你安裝hadoop的位置
值得注意的是,很多人加完包之後,在preference中沒有看到hadoop的選項,這裡因為你的eclipse中間更新的部分沒有更新的新加入外掛的包的記錄。
還是在eclipse安裝檔案中刪除原先外掛的記錄,然後重新啟動才行,即刪除/contents/eclipse/configuration/org.eclipse.update,然後重新啟動就可以看到在preference下hadoop選項(如果是在eclipse安裝好後一次都沒開啟eclipse,則可以跳過這一步。)
到這一步基本上就安裝的差不多了,然後建立一個hadoop map/reduce的工程。然後配置一下hadoop的位置。如下圖
左邊的埠號填mapped-site.xml中填的埠號
右邊的埠號填core-site.xml中的埠號
填好後就配好了,接下來就可以跑程式了,最好去下載一個wordcount程式去測試一下你的配置是否成功。