1. 程式人生 > >spark學習:(一)虛擬機器安裝及軟體要求

spark學習:(一)虛擬機器安裝及軟體要求

1 Linux虛擬機器的安裝

參考:https://blog.csdn.net/ProgrammingWay/article/details/78237856

採用的是VMWare,CentOS6.9。因為是在自己電腦上進行實驗,故架設三臺虛擬機器,分別命名為master(192.168.xxx.001),slave1(192.168.xxx.002),slave2(192.168.xxx.003)。每臺虛擬機器記憶體2G,硬碟大小10G。

分割槽方案(按順序建立分割槽):

①/boot:邏輯分割槽,大小為100M,分割槽格式為ext4;

②swap:充當虛擬記憶體,大小等於記憶體大小1G,分割槽格式為swap;

③/:主分割槽,安裝系統和軟體,大小為剩餘大小,分割槽格式為ext4。

各分割槽作用:

/ 根目錄,建議在根目錄下面只有目錄,不要直接有檔案。

swap 交換空間,相當於Windows上的虛擬記憶體。

/boot 包含了作業系統的核心和在啟動系統過程中所要用到的檔案,建這個分割槽是有必要的,因為目前大多數的PC機要受到BIOS的限制,且如果有了一個單獨的/boot啟動分割槽,即使主要的根分割槽出現了問題,計算機依然能夠啟動。這個分割槽的大小約在60MB—120MB之間。

/home 使用者的home目錄所在地,這個分割槽的大小取決於有多少使用者。如果是多使用者共同使用一臺電腦的話,這個分割槽是完全有必要的,且根使用者也可以很好地控制普通使用者使用計算機。

/tmp 用來存放臨時檔案。這對於多使用者系統或者網路伺服器來說是有必要的。這樣即使程式執行時生成大量的臨時檔案,或者使用者對系統進行了錯誤的操作,檔案系統的其它部分仍然是安全的。因為檔案系統的這一部分仍然還承受著讀寫操作,所以它通常會比其它的部分更快地發生問題。這個目錄是任何人都能訪問的,所以需要定期清理。

/usr Linux系統存放軟體的地方,如有可能應將最大空間分給它。除了系統的基本程式外,其它所有的應用程式多放在這個目錄當中。

/etc 系統主要的設定檔案幾乎都放在這個目錄內。

/root 系統管理員的家目錄。

/lost+found 該目錄在大多數情況下都是空的,但當實然停電或者非正常關機後,有些檔案臨時存入在此。

/dev 裝置檔案,在Linux系統上,任何裝置都以檔案型別存放在這個目錄中,如硬碟裝置檔案,軟碟機、光碟機裝置檔案等。

/media 掛載目錄,用來臨時掛載別的檔案系統或者別的硬體裝置(如光碟機、軟碟機)。

/opt 用於儲存第三方軟體的目錄,不過我們還是習慣放在/usr/local下

/proc 此目錄資訊是在記憶體中由系統自行產生的,儲存了一些當前的程序ID號和CPU、記憶體的對映等,因為這個目錄下的資料都在記憶體中,所以本身不佔任何硬碟空間。

/var 主要放置系統執行過程中經常變化的檔案,例如快取(cache)或者是隨時更改的登入檔案(log file)。

/var/log 系統日誌記錄分割槽,如果設立了這一單獨的分割槽,這樣即使系統的日誌檔案出現了問題,它們也不會影響到作業系統的主分割槽。

2 軟體目錄

軟體

版本/地址

Java

jdk-8u191-linux-x64.tar.gz

Scala

scala-2.11.12.tgz

Hadoop

hadoop-2.8.5.tar.gz

Spark

spark-2.3.1-bin-hadoop2.7.tgz

Zookeeper

zookeeper-3.4.13.tar.gz

Kafka

kafka_2.11-1.1.0.tgz

Tomcat

apache-tomcat-8.5.35.tar.gz

Eclipse

eclipse-jee-photon-R-win32-x86_64.zip

Maven

apache-maven-3.6.0-bin.zip

Windows-Hadoop外掛

winutils-master.zip/hadoop-2.8.3

Eclipse-Hadoop外掛

hadoop-eclipse-plugin-2.6.0.jar

2.1 Java安裝

在三臺虛擬機器上解壓安裝並配置環境變數:

[[email protected] opt]# tar -zxvf jdk-8u191-linux-x64.tar.gz
[[email protected] opt]# vi /etc/profile

新增以下內容:

export JAVA_HOME=/ opt /jdk1.8.0_191
export JRE_HOME=/ opt /jdk1.8.0_191/jre
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

然後更新配置檔案:

[[email protected] opt]# source /etc/profile

2.2 Scala安裝

在三臺虛擬機器上解壓安裝並配置環境變數:

export SCALA_HOME=/opt/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin

需要軟體的可以留言~