前言

關於幾個疑問和幾處心得！

a.用NAT，還是橋接，還是only-host模式？

b.用static的ip，還是dhcp的？

答：static

c.別認為快照和克隆不重要，小技巧，比別人靈活用，會很節省時間和大大減少錯誤。

d.重用起來指令碼語言的程式設計，如paython或shell程式設計。

　對於用scp -r命令或deploy.conf（配置檔案），deploy.sh（實現檔案複製的shell指令碼檔案），runRemoteCdm.sh(在遠端節點上執行命令的shell指令碼檔案)。

e.重要Vmare Tools增強工具，或者，rz上傳、sz下載。

f.

大多數人常用

用到的所需：

　　1、VMware-workstation-full-11.1.2.61471.1437365244.exe

　　2、CentOS-6.5-x86_64-bin-DVD1.iso

　　3、jdk-8u60-linux-x64.tar.gz

　　4、hadoop-2.6.0.tar.gz

　　5、scala-2.10.4.tgz

　　6、spark-1.6.1-bin-hadoop2.6.tgz

機器規劃：

　　192.168.80.100----------------  SparkSignleNode

目錄規劃：

　　1、下載目錄  

　　　/usr/loca/  ----------------    存放所有安裝軟體

2、新建目錄

3、安裝目錄

　　jdk-8u60-linux-x64.tar.gz  --------------------------------------------------  /usr/local/jdk/jdk1.8.0_60

　　hadoop-2.6.0.tar.gz ----------------------------------------------------------  /usr/local/hadoop/hadoop-2.6.0

　　scala-2.10.4.tgz --------------------------------------------------------------- /usr/local/scala/scala-2.10.4

     spark-1.6.1-bin-hadoop2.6.tgz ---------------------------------------------- /usr/local/spark/spark-1.6.1-bin-hadoop2.6

4、快照步驟

　　快照一：

　　　　剛安裝完畢，且能連上網

     快照二：

 　　　 root使用者的開啟、vim編輯器的安裝、ssh的安裝、靜態IP的設定、/etc/hostname和/etc/hosts和永久關閉防火牆

　　　  SSH安裝完之後的免密碼配置，放在後面
　　     靜態IP是192.168.80.100
          /etc/hostname是SparkSingleNode
          /etc/hosts是
          192.168.80.100  SparkSingleNode

     快照三：

　　　　安裝jdk、安裝scala、配置SSH免密碼登入、安裝python及ipython （這裡，選擇跳過也可以，ubuntu系統自帶安裝了python）

　　　　新建spark使用者，（即用spark使用者，去安裝jdk、scala、配置SSH免密碼、安裝hadoop、安裝spark...）

 　　快照四：

　　　　安裝hadoop（沒格式化）、安裝lrzsz、將自己寫好的替換掉預設的配置檔案、建立好目錄

　　快照五：

　　　　安裝hadoop（格式化）成功、程序啟動正常

 　　快照六：

　　　　spark的安裝和配置工作完成

　　快照七：

　　　　啟動hadoop、spark叢集成功、檢視50070、8088、8080、4040頁面

第一步：

　　　　安裝VMware-workstation虛擬機器，我這裡是VMware-workstation11版本。

　　     詳細見 -> 

　第二步：

　　　　安裝ubuntukylin-14.04-desktop系統 （最好安裝英文系統）

　　　　詳細見 ->

第三步：VMware Tools增強工具安裝

　　　　詳細見 ->

　　第四步：準備小修改（學會用快照和克隆，根據自身要求情況，合理位置快照）　

　　　　詳細見 ->　　　

　　　　1、root使用者的開啟（Ubuntu系統，安裝之後預設是沒有root使用者）

　　　　2、vim編輯器的安裝

　　　　3、ssh的安裝（SSH安裝完之後的免密碼配置，放在後面）

　　　　4、靜態IP的設定

           5、/etc/hostname和/etc/hosts

[email protected]sparksinglenode:~# cat /etc/hostname

sparksinglenode

[email protected]sparksinglenode:~#  cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.80.100  sparksinglenode

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

　　6、永久關閉防火牆

　　　　　　　　一般，在搭建hadoop/spark叢集時，最好是永久關閉防火牆，因為，防火牆會保護其程序間通訊。

[email protected]:~# sudo ufw status

Status: inactive

[email protected]:~#

　這個知識點，模糊了好久。！！！

　　生產中，習慣如下：

　　useradd，預設會將自身新建使用者，新增到同名的使用者組中。如，useradd zhouls，執行此命令後，預設就新增到同名的zhouls使用者組中。

　但是，在生產中，一般都不這麼幹。通常是，useradd -m -g 。否則，出現到時，使用者建立出來了，但出現家目錄沒有哦。慎重！！！（重要的話，說三次）

####################CentOS系統裡##########################

CentOS系統裡，root使用者下執行

第一步：groupadd  新建使用者組

groupadd hadoop      這是建立hadoop使用者組

第二步：useradd  -m -g   已建立使用者組   新建使用者

useradd  -m -g hadoop hadoop    這是新建hadoop使用者和家目錄也建立，並增加到hadoop組中

第三步：passwd  已建立使用者   

passwd hadoop     hadoop使用者密碼

Changing password  for user hadoop

New password ：

Retype new password:

###################################

安裝前的思路梳理：

　　***********************************************************************************

　　*　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　*              程式語言  ->   hadoop 叢集  -> spark 叢集　　　　　　　　　　　　　　　　　　　　　　　　　　  *

　　* 1、安裝jdk   　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *

　　* 2、安裝scala　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *

　　* 3、配置SSH免密碼登入（SparkSingleNode自身）

　　* 4、安裝python及ipython （這裡，選擇跳過也可以，ubuntu系統自帶安裝了python）

　　* 5、安裝hadoop　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *

　　* 6、安裝spark　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　* 7、啟動叢集　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　* 8、檢視頁面　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　* 9、成功（記得快照）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　*******************************************************

一、安裝jdk  

　　記得，這裡先解除安裝CentOS6.5自帶的openjdk，具體怎麼做，請見上述的部落格。我已經寫了很清楚。

　　jdk-8u60-linux-x64.tar.gz  --------------------------------------------------  /usr/local/jdk/jdk1.8.0_60

　　　　1、jdk-8u60-linux-x64.tar.gz的下載

　　　　

　　　　2、jdk-8u60-linux-x64.tar.gz的上傳

 

[[email protected] local]# mkdir jdk
[[email protected] local]# chown -R spark:spark jdk

[[email protected] jdk]# yum -y install lrzsz

    3、解壓jdk檔案

[[email protected] jdk]$ tar -zxvf jdk-8u60-linux-x64.tar.gz

　　4、刪除解壓包，留下解壓完成的檔案目錄，並修改許可權（這是最重要的！）

[[email protected] jdk]$ rm jdk-8u60-linux-x64.tar.gz 

　　5、修改環境變數　

　　vim ~./bash_profile   或 vim /etc/profile

　　配置在這個檔案~/.bash_profile，或者也可以，配置在那個全域性的檔案裡，也可以喲。/etc/profile。

　　這裡，我vim /etc/profile

[[email protected] jdk]$ su root
Password: 
[[email protected] jdk]# vim /etc/profile

#java
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

 　　6、生效jdk環境變數

[[email protected] jdk]# source /etc/profile
[[email protected] jdk]# su spark
[[email protected] jdk]$ java -version

二、安裝scala

　　  scala-2.10.5tgz --------------------------------------------------------------- /usr/local/scala/scala-2.10.5

　　1、scala的下載

　　或者

　　

　　2、現在，新建/usr/loca/下的sacla目錄

 

　　3、scala-2.10.5.tgz 的上傳

 

[[email protected] scala]$ rz

　　4、解壓scala檔案

 

[[email protected] scala]$ tar -zxvf scala-2.10.5.tgz 

　　5、刪除解壓包，留下解壓完成的檔案目錄，並修改許可權（這是最重要的！！！）

[[email protected] scala]$ rm scala-2.10.5.tgz 

　　6、修改環境變數　

　　vim ~./bash_profile   或 vim /etc/profile

　　配置在這個檔案~/.bash_profile，或者也可以，配置在那個全域性的檔案裡，也可以喲。/etc/profile。

　　這裡，我vim /etc/profile

[[email protected] scala]$ su root
Password: 
[[email protected] scala]# vim /etc/profile

 

#scala
export SCALA_HOME=/usr/local/scala/scala-2.10.5
export PATH=$PATH:$SCALA_HOME/bin

　　7、生效scala環境變數

[[email protected] scala]# source /etc/profile
[[email protected] scala]# su spark
[[email protected] scala]$ scala -version

三、配置免密碼登入

　　1、配置SSH實現無密碼驗證配置，首先切換到剛建立的spark使用者下。

　　　　因為，我後續，是先搭建hadoop叢集，在其基礎上，再搭建spark叢集，目的，是在spark使用者下操作進行的。

　　所以，在這裡，要梳理下的是，root和zhouls，都是管理員許可權。在生產環境裡，一般是不會動用這兩個管理員使用者的。

　　由於spark需要無密碼登入作為worker的節點，而由於部署單節點的時候，當前節點既是master又是worker，所以此時需要生成無密碼登入的ssh。方法如下：

[[email protected] ~]$ pwd
/home/spark

   2 、建立.ssh目錄，生成金鑰

　　mkdir .ssh

　　ssh-keygen -t rsa    注意，ssh與keygen之間是沒有空格的

[[email protected] ~]$ mkdir .ssh
[[email protected] ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/spark/.ssh/id_rsa):  (回車）
Enter passphrase (empty for no passphrase):  (回車）
Enter same passphrase again:  (回車）
Your identification has been saved in /home/spark/.ssh/id_rsa.
Your public key has been saved in /home/spark/.ssh/id_rsa.pub.
The key fingerprint is:
38:12:c4:d8:f1:fc:74:96:2d:a1:0e:c2:83:b7:f1:54 [email protected]
The key's randomart image is:
+--[ RSA 2048]----+
|   +o.  E .      |
|  .+oo . . +     |
|  . B = o = .    |
|   . O * o .     |
|    o + S        |
|     . .         |
|                 |
|                 |
|                 |
+-----------------+
[[email protected] ~]$ 

　　3 、切換到.ssh目錄下,進行檢視公鑰和私鑰

　　cd .ssh

　　ls

[[email protected] ~]$ cd .ssh
[[email protected] .ssh]$ ls
id_rsa  id_rsa.pub
[[email protected] .ssh]$ 

 　　4、將公鑰複製到日誌檔案裡。檢視是否複製成功

　　cp id_rsa.pub authorized_keys             

　　ls

[[email protected] .ssh]$ cp id_rsa.pub authorized_keys

　　5、檢視日記檔案具體內容

[[email protected] .ssh]$ cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAtCbvAZr07dAiUG66PcyXFBZX+2wfyi9lv0Dv8X2EfVbXakDaRRGHGBQ/k3KTXMtmziijcuTtDJJoSuC7tZVp00l+jNVB5UPIBsAPTCidUXECLUUVNDFNmzzFWumAtiJd7yeQMCEZyUX7TQ00IaDG5hqzgneZRaek+sARPJnvvn+USKH1pJI3iPstbDhWVKqWg2UBmEkoAtZUmP4ZsiExwysRaFCyETVqPZ3qxMCe/yhhxaWtnl71lIHQJsYy15cUdxnaBWM/XJEEINRFplVAgR9wIkIBexYBGZpu8uLOT7oQiCgQ0CixgKAwEN7BaaTDMBue0ebwWsaByyzb964gyQ== [email protected]

　　6、退回到/home/spark/，來賦予許可權

　　cd ..

　　chmod 700 .ssh    將.ssh資料夾的許可權賦予700

　　chmod 600 .ssh/*      將.ssh資料夾裡面的檔案（id_rsa、id_rsa.pub、authorized_keys）的許可權賦予600

[[email protected] ~]$ chmod 700 .ssh
[[email protected] ~]$ chmod 600 .ssh/*

 　　7、測試ssh無密碼訪問

[[email protected] ~]$ ssh sparksinglenode
The authenticity of host 'sparksinglenode (192.168.80.100)' can't be established.
RSA key fingerprint is c9:66:77:a8:d3:a3:6a:03:29:94:0b:6b:2d:27:06:12.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'sparksinglenode,192.168.80.100' (RSA) to the list of known hosts.
Last login: Thu Mar 23 16:57:15 2017 from 192.168.80.1
[[email protected] ~]$ exit;
logout
Connection to sparksinglenode closed.
[[email protected] ~]$ ssh sparksinglenode
Last login: Fri Mar 24 01:37:13 2017 from sparksinglenode
[[email protected] ~]$ exit;
logout
Connection to sparksinglenode closed.
[[email protected] ~]$ 

 四、安裝hadoop

　　　　hadoop-2.6.0.tar.gz ----------------------------------------------------------  /usr/local/hadoop/hadoop-2.6.0

　　1、hadoop的下載

　　

　　2、hadoop-2.6.0.tar.gz的上傳

total 48
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 bin
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 etc
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 games
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 include
drwxr-xr-x. 3 spark spark 4096 Mar 23 23:33 jdk
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib64
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 libexec
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 sbin
drwxr-xr-x. 3 spark spark 4096 Mar 24 01:26 scala
drwxr-xr-x. 5 root  root  4096 Mar 22 17:40 share
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 src
[[email protected] local]$ su root
Password: 
[[email protected] local]# mkdir hadoop
[[email protected] local]# chown -R spark:spark hadoop/
[[email protected] local]# ll
total 52
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 bin
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 etc
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 games
drwxr-xr-x. 2 spark spark 4096 Mar 24 01:38 hadoop
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 include
drwxr-xr-x. 3 spark spark 4096 Mar 23 23:33 jdk
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib64
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 libexec
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 sbin
drwxr-xr-x. 3 spark spark 4096 Mar 24 01:26 scala
drwxr-xr-x. 5 root  root  4096 Mar 22 17:40 share
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 src
[[email protected] local]# 

 

　　3、解壓hadoop檔案

[[email protected] hadoop]$ tar -zxvf hadoop-2.6.0.tar.gz 

　　4、刪除解壓包，留下解壓完成的檔案目錄

　     並修改所屬的使用者組和使用者（這是最重要的！）

 　　5、修改環境變數　

　　　　vim ~./bash_profile   或 vim /etc/profile

　　　　配置在這個檔案~/.bash_profile，或者也可以，配置在那個全域性的檔案裡，也可以喲。/etc/profile。

　　　　這裡，我vim /etc/profile

[[email protected] hadoop]# vim /etc/profile

#hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 　　6、生效hadoop環境變數

[[email protected] hadoop]# source /etc/profile
[[email protected] hadoop]# su spark
[[email protected] hadoop]$ hadoop version
Hadoop 2.6.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /usr/local/hadoop/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar
[[email protected] hadoop]$ 

　　7、配置hadoop

[[email protected]nglenode hadoop]$ cd hadoop-2.6.0/etc/hadoop/
[[email protected] hadoop]$ vim core-site.xml

<configuration>
　　<property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://sparksinglenode:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/usr/local/hadoop/hadoop-2.6.0/tmp</value>
　　</property>
　　<property>
　　　　<name>hadoop.proxyuser.hadoop.hosts</name>
　　　　<value>*</value>
　　</property>
　　<property>
　　　　<name>hadoop.proxyuser.hadoop.groups</name>
　　　　<value>*</value>
　　</property>
</configuration>

 

[[email protected] hadoop]$ vim hdfs-site.xml 

 

<configuration>
　　<property>
　　　　<name>dfs.permissions</name>
　　　　<value>false</value>
　　</property>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>/usr/local/hadoop/hadoop-2.6.0/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>/usr/local/hadoop/hadoop-2.6.0/dfs/data</value>
　　</property>
</configuration>

[[email protected] hadoop]$ cp mapred-site.xml.template mapred-site.xml
[[email protected] hadoop]$ vim mapred-site.xml

 

<configuration>
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
</configuration>

[[email protected] hadoop]$ vim yarn-site.xml 

<configuration>

<!-- Site specific YARN configuration properties -->
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
</configuration>

[[email protected] hadoop]$ vim hadoop-env.sh 

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60

[[email protected] hadoop]$ cat slaves 

 

sparksinglenode

 　　8、新建配置檔案裡牽扯到目錄

[[email protected] hadoop-2.6.0]$ pwd
/usr/local/hadoop/hadoop-2.6.0
[[email protected] hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/name
[[email protected] hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/data
[[email protected] hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/tmp

　　9、hadoop的格式化

　　　　　在單節點(sparksinglenode)的hadoop的安裝目錄下，進行如下命令操作

　　　　./bin/hadoop namenode  -format

[[email protected] hadoop-2.6.0]$ pwd
/usr/local/hadoop/hadoop-2.6.0
[[email protected] hadoop-2.6.0]$ ./bin/hadoop namenode -format

　　10、啟動hadoop

　　　　sbin/start-all.sh

[[email protected] hadoop-2.6.0]$ sbin/start-all.sh

 

　　11、開啟hadoop的web ui介面，來驗證下。

http://sparksinglenode:50070/ 。如果出現50070埠無法訪問，則如下

 

 五、安裝spark

 　　　　spark-1.6.1-bin-hadoop2.6.tgz ---------------------------------------------- /usr/loca/spark/spark-1.6.1-bin-hadoop2.6

　　　　1、spark的下載　　　

             這個去官網。很簡單！

 http://spark.apache.org/downloads.html

http://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz

　　    2、spark-1.6.1-bin-hadoop2.6.tgz的上傳

[[email protected] local]# mkdir spark
[[email protected] local]# chown -R spark:spark spark/

　　3、解壓spark檔案

[[email protected] spark]$ tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz 

　　4、刪除解壓包，留下解壓完成的檔案目錄

　     並修改所屬的使用者組和使用者（這是最重要的！）

 　　5、修改環境變數　

　　　　vim ~./bash_profile   或 vim /etc/profile

　　　　配置在這個檔案~/.bash_profile，或者也可以，配置在那個全域性的檔案裡，也可以喲。/etc/profile。

　　　　這裡，我vim /etc/profile

[[email protected] spark]$ su root
Password: 
[[email protected] spark]# vim /etc/profile

#spark
export SPARK_HOME=/usr/local/spark/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

 　　6、生效spark環境變數

[[email protected] spark]# source /etc/profile

　　7、spark配置檔案

　　其實，只要把spark的安裝包解壓好，就已經安裝好了最簡易的spark。因為，它自身帶有叢集環境。

[[email protected] conf]$ cp slaves.template slaves
[[email protected] conf]$ vim slaves

　　進入之後，將localhost改為sparksinglenode

[[email protected] conf]$ cp spark-env.sh.template spark-env.sh
[[email protected] conf]$ vim spark-env.sh

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60
export SCALA_HOME=/usr/local/scala/scala-2.10.5
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop
export SPARK_MASTER_IP=sparksinglenode
export SPARK_WORKER_MERMORY=2G

六、啟動叢集

　　　　　　1、在haoop的安裝目錄下，啟動hadoop叢集。

　　　　　　　　/usr/local/hadoop/hadoop-2.6.0下，執行./sbin/start-all.sh

　　　　　　或，在任何路徑下，$HADOOP_HOME/sbin/start-all.sh

　　　2、在spark的安裝目錄下，啟動spark叢集。

　　     　　    /usr/local/spark/spark-1.6.1-bin-hadoop2.6下，執行./sbin/start-all.sh

　　　　　或， 在任何路徑下，執行 $SPARK_HOME/sbin/start-all.sh

 

　八、檢視頁面

　　　　進入hadoop的hdfs的web頁面。訪問http://sparksinglenode:50070  （安裝之後，立即可以看到）

　　　　進入hadoop的yarn的web頁面。訪問http://sparksinglenode:8088  （安裝之後，立即可以看到）

　　　　進入spark的web頁面。訪問 http://sparksinglenode:8080   （安裝之後，立即可以看到）

　　　　進入spark的shell的web頁面。訪問http//:sparksinglenode:4040  （需開啟spark shell）

 

 　　成功！