在機器學習、大資料等領域工作，該學Hadoop還是Spark？
一、Hadoop與Spark
1.Spark
Spark是一個用來實現快速而通用的叢集計算的平臺。速度方面，Spark擴充套件了廣泛使用的MapReduce計算模型，而且高效地支援更多計算模式，包括互動式查詢和流處理。
Spark專案包含多個緊密整合的元件。Spark的核心是一個對由很多計算任務組成的、執行在多個工作機器或者是一個計算叢集上的應用進行排程、分發以及監控的計算引擎。
2.Hadoop
Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下，開發分散式程式。充分利用叢集的威力進行高速運算和儲存。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的資料提供了儲存，則MapReduce為海量的資料提供了計算。
二、異與同
- 解決問題的層面不一樣
- 兩者可合可分
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，畢竟它沒有提供檔案管理系統，所以，它必須和其他的分散式檔案系統進行整合才能運作。這裡我們可以選擇Hadoop的HDFS,也可以選擇其他的基於雲的資料系統平臺。但Spark預設來說還是被用在Hadoop上面的，畢竟，大家都認為它們的結合是最好的。
順帶說一下什麼是mapreduce：我們要數圖書館中的所有書。你數1號書架，我數2號書架。這就是“Map”。我們人越多，數書就更快。現在我們到一起，把所有人的統計數加在一起。這就是“Reduce”。
- Spark資料處理速度秒殺MapReduce
反觀Spark，它會在記憶體中以接近“實時”的時間完成所有的資料分析：“從叢集中讀取資料，完成所有必須的分析處理，將結果寫回叢集，完成，” Born說道。Spark的批處理速度比MapReduce快近10倍，記憶體中的資料分析速度則快近100倍。如果需要處理的資料和結果需求大部分情況下是靜態的，且你也有耐心等待批處理的完成的話，MapReduce的處理方式也是完全可以接受的。
但如果你需要對流資料進行分析，比如那些來自於工廠的感測器收集回來的資料，又或者說你的應用是需要多重資料處理的，那麼你也許更應該使用Spark進行處理。大部分機器學習演算法都是需要多重資料處理的。此外，通常會用到Spark的應用場景有以下方面：實時的市場活動，線上產品推薦，網路安全分析，機器日記監控等。
- Recovery & 恢復
三、學哪個？
其實，正如所瞭解的那樣，Spark的確是大資料行業中的後起之秀，與Hadoop相比，Spark有很多的優勢。Hadoop之所以在大資料行業能夠得到充分的認同主要是因為：
·Hadoop解決了大資料的可靠儲存和處理問題；
·Hadoop的開源性，這能讓很多大資料從業人員在裡面找到靈感，方便實用；
·Hadoop經過了多年的開發，擁有完整的生態系統。
·HDFS在由普通PC組成的叢集上提供高可靠的檔案儲存，通過將塊儲存多個副本的辦法解決伺服器或硬板壞掉的問題。
·MapReduce通過簡單的Mapper和Reducer的抽象提供一個變成模型，可以在一個由幾十臺至上百臺的PC組成的不可靠叢集上併發地，分散式地處理大量的資料集，而把併發、分散式和故障恢復等計算細節隱藏起來。
Hadoop也有許多侷限和不足，籠統的講，在資料量不斷擴大的情況下，Hadoop的運算速度會越發顯得吃力。雖然現階段，Hadoop在大資料行業內仍然有很高頻率的應用，但不難想象在若干年後，資料量又上升幾個數量級時，Hadoop所面臨的窘境。而Spark的運算速度是Hadoop的百分之一甚至更快，因此，在未來，Spark必然會取代Hadoop，主宰大資料行業。
那是不是就可以跳過Hadoop，只學Spark呢？當然不是，有以下原因：
·現階段，Hadoop仍然主導著大資料領域，我們可以學習先進的技術，但更是為了現階段的就業，就目前階段而言，學大資料必學Hadoop。
·MapReduce中有許多經典的思想，值得我們學習，這對我們理解大資料十分有幫助。
·確切的講，Spark要替換的是Hadoop中的MapReduce，而不是Hadoop，Hadoop是一個工具包，而Spark和MapReduce一樣，只是一種工具而已。
結論：
如果你是往業界的演算法工程方面發展，那麼兩個都要學，Hadoop要了解，Spark要熟悉。如果你是大資料研究人員，那麼要精通這兩種。所以，這裡的建議是，對於有志於在ML和大資料等領域發展的各位，可以按照Java -> Hadoop -> Spark這樣的路徑，如果你有C++和SQL的基礎，那麼學習曲線將不會特別陡峭，對於spark來說，學一點Scala則會更有幫助
最後推薦一個答案，下面有很多幹貨，幫助大家構建自己的學習路徑：