1. 程式人生 > >spark的遠程到集群及基礎使用方法

spark的遠程到集群及基礎使用方法

pos OS exe 任務 home exec hive core driver

1)、----登錄spark
ssh [email protected]
/home/mr/spark/bin/beeline -u "jdbc:hive2://133.37.23.88:18000/zxvmax" -n mr -p ""
2)、----在spark——shell 新開辟一個空間跑任務,(在跑sql時間過長的情況)
/home/mr/spark/bin/spark-shell --master spark://zdh234:7077 --executor-memory 6g --total-executor-cores 20 --driver-memory 3g
sqlContext.sql("use default").collect;

3)、----在裝有spark組件的服務器開一個sparksql
ps -ef | grep watchdog
開啟sparksql的腳本python /home/mr/bin/spark/sparksql_watchdog.py start

spark的遠程到集群及基礎使用方法