1. 程式人生 > >vmware centOS7.0環境下配置hadoop叢集+spark叢集

vmware centOS7.0環境下配置hadoop叢集+spark叢集

從開始玩linux,配置hadoop和spark叢集的過程用了二十多個小時,後面也是進行得越來越順利。

在安裝和配置過程中學習和用到的一些網站和部落格,在此分享一下。

一、vmware centOS7.0 hadoop jdk hadoop scala spark 安裝包百度網盤分享

連結:https://pan.baidu.com/s/16d1gxlYOxL9-dwHcNiyrDw 密碼:04y4

二、vmware及vmware下centOS7.0的安裝,按照百度經驗照做就可以解決

三、centOS7.0安裝後無法上網

(1)使用root許可權

su   //使用root許可權

(2)  修改ifcfg-enoxxxxx檔案

(3)將no改為yes

(4)重啟network

service network restart

四、安裝配置JDK

(1)參考部落格https://www.cnblogs.com/yjlch1016/p/8900841.html

注centOS7.0自帶openjdk,並且沒有配置環境變數,可先下載jdk安裝包,解壓之後直接配置環境變數即可,無需解除安裝openjdk操作

(2)參考部落格https://blog.csdn.net/u013248434/article/details/70304526 

可以得知獲取centOS7.0自帶openjdk的安裝路徑,但是對於scala的安裝,必須要按照(1)安裝jdk

安裝成功後,javac、java、java -version進行驗證,截圖如下

五、hadoop安裝及叢集配置

參考部落格 https://blog.csdn.net/pucao_cug/article/details/71698903

六、scala,spark安裝及單機、叢集配置

叢集版,參考部落格 https://blog.csdn.net/pucao_cug/article/details/72353701

單機版,參考部落格 https://blog.csdn.net/pucao_cug/article/details/72377219

spark測試,參考部落格 

https://blog.csdn.net/pucao_cug/article/details/72377219

七、putty傳輸檔案

(1)從windows向centOS傳輸檔案,參考部落格 https://blog.csdn.net/wqn_csdn/article/details/72582000

(2)將centOS中的檔案下載到本地的命令如下,即可在本地檢視下載的文件

八、U盤掛載

參看百度經驗 https://jingyan.baidu.com/article/8ebacdf028b13449f65cd5a5.html

九vmware tools安裝以實現虛擬機器和主機之間檔案拖拽共享(但是在虛擬機器下有多個centOS7.0系統時,我只能配置成功一個)

參考部落格  http://blog.51cto.com/5001660/2093899

在熟悉的過程中遇到了很多坑,但是處理起來會越來越順利許多。