1. 程式人生 > >安裝SPARK 環境變數設定

安裝SPARK 環境變數設定

主要涉及到兩個地方設定環境變數:
區分下兩個變數針對的使用者許可權,適用範圍;
還有pycharm下面針對uttest預設下面的environment的設定;新增SPARK_HOME,以及PYTHONPATH;
另外針對本地跑spark報keyERROR,os[‘SPARK_HOME’]如果不在程式碼中帶上,在專案中進行按上述方式在pycharm的run的選單欄中,新增SPARK_HOME,以及PYTHONPATH;
vim ~/.profile
vim ~/.bashrc
生效:source ~/.bashrc
環境變數設定:
sudo mv jdk1.8.0_181 /usr/lib
sudo mv scala-2.12.7 /usr/lib
hadoop-2.6.5
export JAVA_HOME=/usr/lib/jdk1.8.0_181
export SCALA_HOME=/usr/lib/scala-2.12.7
export SPARK_MASTER_HOST=localhost #單機下配置為localhost
export HADOOP_CONF_DIR=/home/user/hadoop-2.6.5/etc/hadoop/ #hadoop配置目錄
export SPARK_WORKER_MEMORY=8g #給spark分配8G記憶體
export SPARK_WORKER_CORES=16 #允許spark以16核並行運算

export JAVA_HOME=/usr/lib/jdk1.8.0_181
export SCALA_HOME=/usr/lib/scala-2.12.7
export HADOOP_HOME=/home/tsl/changsha/hadoop-2.6.5
export SPARK_HOME=/home/tsl/changsha/spark-2.3.2-bin-hadoop2.6
export PATH=PATH:PATH:JAVA_HOME/bin:SCALAHOME/bin:SCALA_HOME/bin:SPARK_HOME/bin:SPARKHOME/sbin:SPARK_HOME/sbin:

HADOOP_HOME/bin:HADOOPHOME/sbinexportCLASSPATH=.:HADOOP_HOME/sbin export CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
參考部落格:
https://www.cnblogs.com/shixiangwan/p/6159299.html