1. 程式人生 > >解決Spark standalone部署模式cores為0的問題

解決Spark standalone部署模式cores為0的問題

在docker中執行spark程式,發現docker日誌列印如下內容:

[Timer-0] o.a.spark.scheduler.TaskSchedulerImpl    : 
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

意思是說初始化任務沒有獲取到任何資源,去spark UI頁面檢視一下:
可以看到已經沒有活著的slave了
可以看到,叢集已經沒有活著的worker了,spark application的狀態是WATING。

啟動spark叢集master的sbin目錄下的start-slaves.sh
重啟slave之後恢復正常
可以看到,當slaves都啟動之後,就恢復正常了,UI頁面有幾臺worker的資訊,Spark應用的狀態恢復為RUNNING。