先說明一下我的環境配置：

作業系統：ubuntu14.04 64bit
spark2.0.0
hadoop 2.7.1
scala-2.11.8
python 2.7.6
java1.7.0

1. 安裝 ipython notebook

安裝步驟：

1安裝pip工具

sudo apt-get install python-pip

2 安裝ipython

sudo apt-get install ipython

3 安裝ipython notebook

sudo apt-get install ipython-notebook

4 啟動ipython notebook

ipython notebook

2. 其他python環境配置

1.為了方便畫圖安裝matplotlib庫

sudo apt-get install python-matplotlib

2.安裝numpy庫

sudo apt-get install python-numpy

3.安裝scipy庫

sudo apt-get install python-scipy
sudo apt-get install python-nose

3. pyspark呼叫ipython notebook

當spark配置成功後，直接呼叫pyspark即可開啟spark的python介面。
為了使用ipython notebook，需要如下配置。

1. 方法1

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS='notebook' ./bin/pyspark

2 方法2
修改~/.bashrc檔案，新增以下內容：

export PYSPARK_DRIVER_PYTHON=ipython 
export PYSPARK_DRIVER_PYTHON_OPTS=”notebook” （去處此引數，可呼叫 ipython）

然後source ~/.bashrc，就可以通過啟動 pyspark 來啟動 IPython Notebook 了.

4. 環境測試

MovieLens 100k資料集

unzip ml-100k.zip

具體每個檔案下，每一列的意義可參見 README.

接著用matplotlib的hist函式來建立一個直方圖，以分析使用者年齡的分佈情況:

import matplotlib.pyplot as plt
ages = user_fields.map(lambda x: int(x[1])).collect()
plt.hist(ages, bins=20, color='lightblue', normed=True)
fig = matplotlib.pyplot.gcf()
fig.set_size_inches(16, 10)
plt.show() #顯示影象