1. 程式人生 > >Hadoop在Windows下的安裝配置

Hadoop在Windows下的安裝配置

         因為本人最近最近一段時間 都在學習Hadoop,接觸了比較多的理論,但是想要深入的去學習Hadoop整個平臺,那就必須實戰的訓練,首先第一步,當然是先搭建好一個Hadoop平臺為先。但是比較坑爹的是,Hadoop是要求安裝在Linux環境下的,在Windows下是不能直接執行的。所以只能在Windows下搞個Cygwin,然後把Hadoop安裝包往裡面扔了。我對Cygwin的印象一直不是很好,以前用過這個模擬過Linux環境,後來發現總是會出現各種環境上的問題,非常耗時間。所以我猜測,現在我又在上面搭建一個Hadoop平臺,也肯定不是一件簡單的事件。後來的事實證明,我的確遭遇到了非常多的問題。

        首先第一個遇到的問題,就是配置檔案上的區別。之前我在網上下載的Hadoop安裝版本檔案時Hadoop2.0然後,我的安裝教程將的是1.0的,裡面的配置檔案相應的配置檔案都沒找到。比如,在Hadoop2.0中是沒有mapred-site.xml,取而代之的是mapred-site.xml.template檔案,所在的目錄頁不是叫做conf目錄,所以,第一點,搭建Hadoop平臺,要對準相應的平臺進行安裝。

      2.在配置core-site,hdfs-site,mapreduce-site檔案之前,要先安裝SSH 服務,因為Hadoop的通訊會要求進行SSH認證的,還會生出金鑰檔案,有了金鑰檔案,就可以實現以後的免密碼登入,這個步驟是必須的,如果不執行這個前期操作,執行的後面的命令會報錯的。

      3.Cygwin下的JDK安裝和路徑配置,因為Hadoop平臺是要求Java環境的,需要在Cygwin環境下也安裝JDK,但是我們的JDK是安裝在Windows磁碟下的啊,這該怎麼處理呢,第一之間把地址定位到你安裝的地址上去,通過cgwdrive+你的實際安裝位置,或者你直接找到原先的安裝目錄,直接拷貝到Cygwin的目錄下,再進行path的設定。JDK的設定非常重要,後續的命令很多都是基於此的。

     4.最後一個就是3大配置檔案的配置操作了,如果你不打算配置,那就是預設的單機模式了,配置的操作就是相當於有了DataNode, NameNode, HDFS等等,但是都是在本機上進行的,一個偽分散式模式,這個很簡單,就是定義了埠號,和一些描述資訊。

     5.最後在執行整個服務之前,要先對HDFS進行格式化操作,hadoop hdfs-format,在最後面的就是start-all.sh,在不同版本的Hadoop中,start-all.sh在不同的目錄中,1.2版的是在bin目錄下,2.0版的是在sbin下,cd到哪個目錄下執行操作需要注意。

     上述操作就是我在搭建平臺的過程中所遇到的問題,上述是我自認為是比較容易犯的錯誤,裡面其他的問題網上搜的都是一堆的教程,大同小異。