以下操作均為使用非root使用者進行。

vim ~/.bashrc

在檔案中新增：

export PYSPARK_PYTHON=/usr/local/bin/python3

指定pyspark啟動時使用的python版本，
#export PYSPARK_DRIVER_PYTHON=ipython3

指定啟動pyspark後的互動式介面，使用ipython3作為預設啟動互動介面
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port 8889 --ip=172.16.80.142"

指定啟動pyspark後的互動式介面，使用jupyter作為預設啟動的互動介面，指定ip 和port 可以讓同網段的裝置訪問jupyter 進行pyspark 操作

source ~/.bashrc

載入配置生效