前提：在很久很久以前，搭了一套cloudera manger 的叢集，全元件安裝上之後，一直沒有使用spark ，安裝時出現了很多問題，這個許可權不足，那個許可權不足的，到最後只將用的那幾個元件給除錯好了，其他的一直都沒管。

最近使用了spark 發現7077無法連線。

 這個都無法連線，你讓我在這上面怎麼跑我風騷帥氣的程式碼，找找原因吧。

畢竟是cloudera manger安裝的，而且安裝過程中還出現了一些問題，找了很多資料，發現都答非所問。

叢集上的spark 例項 gateway 都是不適用，無狀態，是不是這個的問題？

又找了一堆資料，得出的結論：白費半天勁，著這個毛關係都沒有！

那就按照傳統的形式安裝spark 檢查哪些配置檔案的內容，都是否正常吧。反正都快放棄了！！

先用

jps

看一下 ，我機器都開著呢，元件也開著呢，看看是不是有master和work 程序，仔細檢視一下，什麼都沒有！

原來沒有開啟spark 啊，找到sbin下的啟動程式，咱們給他啟動一下。

what the fu?k ~

找到spark的原始碼安裝目錄，（其實很不好找，目標地址不明確，cloudera manager 安裝的地址都亂遭的）

終於找到了，去看看conf下對應的配置資訊，好麼，slave都沒有，該配置的資訊都沒有，那好咱們配置一下。

配置好了從節點之後，再去啟動spark，告訴我這些找不到JAVA_HOME

你在開玩笑麼，我其他元件都跑的好好的。到你這就告訴我找不到JAVA_HOME

我給你配置一個，找到spark-env檔案，最後給他追加上java環境的位置

再次start-all.sh

還是找不到，我都告訴你了在哪了，你要還找不到。

那咱再次配置，找到spark-conf.sh 再給他追加一行JAVA_HOEM

啟動，可以啟動了，但是從節點有故障，發現spark-env下沒有從節點資訊。

去給他定製一個從節點資訊。

什麼memary，什麼cores

亂遭的一堆給他懟上，

再次啟動，可以跑了，OK，那就開心的可以玩耍了

測試一下叢集的是不是真的可以跑，我們搞一個自帶的測試指令碼，先給他來迭代1萬次。

spark-submit --master spark://192.168.30.111:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-cdh5.8.5-hadoop2.6.0-cdh5.8.5.jar 100000000