在spark job執行中，我們通常會遇到這樣那樣的奇怪問題。該節主要介紹開發部署中遇到的一些資源分配問題。

如：資源不足，資源分配過多，佇列緊張等很多很多問題。

在工程實踐中，我們都希望自己的job 能夠以最快的速度，最優的流程執行，以提高我們效率。於是乎我們往往在spark job提交的配置指令碼中配置的job的資源越多越好，這就帶來的一個問題，叢集資源有限，可用資源不能夠滿足大資源的job,從而使得很多job 不能執行。為此造成問題，job不能按時執行完成。為此，提出以下幾點建議，希望能夠有所幫助。提高spark 叢集的使用效率和job順利執行。

1. 提交的job 首先評估處理的資料量，以便配置合理的記憶體，core 資源，避免過多分配和分配不足等問題;

Excutor;

Core;

Memory;

2. 控制併發和並行度

並行度（partition數目）由初始資料大小，資料型別，程式設定，分配的executor, core 資料目共同決定

考慮以上設定後，job 執行基本保證順利完成。

但在生產叢集上，我們還需要注意就是job 的並行執行限制，生產叢集為保證系統穩定，往往會新增其他限制，如：job 數，單個job 最大資源等，需要根據實際情況，調整引數。