1. 程式人生 > >本地Eclipse訪問虛擬機器Hadoop需要注意的幾點

本地Eclipse訪問虛擬機器Hadoop需要注意的幾點

1. 本地Eclipse連線到虛擬機器Hadoop的配置:

偽分散式時,core-site.xml中的配置不要使用localhost, 使用虛擬機器的IP地址;同時在eclipse程式中,在configuration中設定fs.defaultFS的值是core-site.xml中對應的配置;

2. Failed to locate the winutils binary in the hadoop binary path錯誤處置:

在本地Eclipse執行程式時,會遇到錯誤Failed to locate the winutils binary in the hadoop binary path,如果不怕麻煩可以自己編譯winutils.exe,也可以忽略這個錯誤,不影響程式繼續執行的;

3. IP地址在虛擬機器待機重新啟用後變化處置:

不知道為什麼,每次虛擬機器待機重新啟用後IP地址就會變化,這樣導致eclipse程式無法連線,解決辦法就是把虛擬機器的network重啟,因為我用的是Ubuntu,重啟命令是sudo service network-manager restart;

4. 通過本地想hadoop寫檔案時的預設寫入目錄:

預設情況下,hadoop程式的寫入目錄是/user/[username]/[filename];我在通過eclipse向虛擬機器hadoop寫入的時候,虛擬機器的hadoop是安裝在使用者hadoop下面,可是寫入後通過hdfs://[ip]:50070/去檢視寫入的檔案時,發現目錄不是/user/hadoop/;納悶了好一陣,以為是在hadoop在裡面有配置,可以找了好一陣也沒有找到,後來明白了,因為我是從本地eclipse去寫入的,所以username是我登入本機的當前使用者的名字,而不是虛擬機器登入的使用者名稱。