spark學習:(一)虛擬機器安裝及軟體要求
1 Linux虛擬機器的安裝
參考:https://blog.csdn.net/ProgrammingWay/article/details/78237856
採用的是VMWare,CentOS6.9。因為是在自己電腦上進行實驗,故架設三臺虛擬機器,分別命名為master(192.168.xxx.001),slave1(192.168.xxx.002),slave2(192.168.xxx.003)。每臺虛擬機器記憶體2G,硬碟大小10G。
分割槽方案(按順序建立分割槽):
①/boot:邏輯分割槽,大小為100M,分割槽格式為ext4;
②swap:充當虛擬記憶體,大小等於記憶體大小1G,分割槽格式為swap;
③/:主分割槽,安裝系統和軟體,大小為剩餘大小,分割槽格式為ext4。
各分割槽作用:
/ 根目錄,建議在根目錄下面只有目錄,不要直接有檔案。
swap 交換空間,相當於Windows上的虛擬記憶體。
/boot 包含了作業系統的核心和在啟動系統過程中所要用到的檔案,建這個分割槽是有必要的,因為目前大多數的PC機要受到BIOS的限制,且如果有了一個單獨的/boot啟動分割槽,即使主要的根分割槽出現了問題,計算機依然能夠啟動。這個分割槽的大小約在60MB—120MB之間。
/home 使用者的home目錄所在地,這個分割槽的大小取決於有多少使用者。如果是多使用者共同使用一臺電腦的話,這個分割槽是完全有必要的,且根使用者也可以很好地控制普通使用者使用計算機。
/tmp 用來存放臨時檔案。這對於多使用者系統或者網路伺服器來說是有必要的。這樣即使程式執行時生成大量的臨時檔案,或者使用者對系統進行了錯誤的操作,檔案系統的其它部分仍然是安全的。因為檔案系統的這一部分仍然還承受著讀寫操作,所以它通常會比其它的部分更快地發生問題。這個目錄是任何人都能訪問的,所以需要定期清理。
/usr Linux系統存放軟體的地方,如有可能應將最大空間分給它。除了系統的基本程式外,其它所有的應用程式多放在這個目錄當中。
/etc 系統主要的設定檔案幾乎都放在這個目錄內。
/root 系統管理員的家目錄。
/lost+found 該目錄在大多數情況下都是空的,但當實然停電或者非正常關機後,有些檔案臨時存入在此。
/dev 裝置檔案,在Linux系統上,任何裝置都以檔案型別存放在這個目錄中,如硬碟裝置檔案,軟碟機、光碟機裝置檔案等。
/media 掛載目錄,用來臨時掛載別的檔案系統或者別的硬體裝置(如光碟機、軟碟機)。
/opt 用於儲存第三方軟體的目錄,不過我們還是習慣放在/usr/local下
/proc 此目錄資訊是在記憶體中由系統自行產生的,儲存了一些當前的程序ID號和CPU、記憶體的對映等,因為這個目錄下的資料都在記憶體中,所以本身不佔任何硬碟空間。
/var 主要放置系統執行過程中經常變化的檔案,例如快取(cache)或者是隨時更改的登入檔案(log file)。
/var/log 系統日誌記錄分割槽,如果設立了這一單獨的分割槽,這樣即使系統的日誌檔案出現了問題,它們也不會影響到作業系統的主分割槽。
2 軟體目錄
軟體 |
版本/地址 |
Java |
jdk-8u191-linux-x64.tar.gz |
Scala |
scala-2.11.12.tgz |
Hadoop |
hadoop-2.8.5.tar.gz |
Spark |
spark-2.3.1-bin-hadoop2.7.tgz |
Zookeeper |
zookeeper-3.4.13.tar.gz |
Kafka |
kafka_2.11-1.1.0.tgz |
apache-tomcat-8.5.35.tar.gz |
|
Eclipse |
eclipse-jee-photon-R-win32-x86_64.zip |
Maven |
apache-maven-3.6.0-bin.zip |
winutils-master.zip/hadoop-2.8.3 |
|
Eclipse-Hadoop外掛 |
hadoop-eclipse-plugin-2.6.0.jar |
2.1 Java安裝
在三臺虛擬機器上解壓安裝並配置環境變數:
[[email protected] opt]# tar -zxvf jdk-8u191-linux-x64.tar.gz
[[email protected] opt]# vi /etc/profile
新增以下內容:
export JAVA_HOME=/ opt /jdk1.8.0_191
export JRE_HOME=/ opt /jdk1.8.0_191/jre
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
然後更新配置檔案:
[[email protected] opt]# source /etc/profile
2.2 Scala安裝
在三臺虛擬機器上解壓安裝並配置環境變數:
export SCALA_HOME=/opt/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin