本書中所使用到的測試資料、程式碼和安裝包放在百度盤提供 下載 ，連結: https://pan.baidu.com/s/1sXuOC3J-aHEc0E_kVWLqFg#list/path=%2F

 另外在百度盤提供本書附錄  下載 ，連結: https://pan.baidu.com/s/1sO8NXqry6oFgKZRfHFTeOQ 密碼: z8hk

為什麼要寫這本書

在過去的十幾年裡，由於計算機普遍應用和網際網路的普及資料呈現了爆發式增長，在這個背景下Doug Cutting受到谷歌兩篇論文（GFS和MapReduce）的啟發下開發Nutch專案， 2006年Hadoop脫離了Nutch，成為Apache的頂級專案，帶動了大資料發展新十年。在這段時間中，大資料開源產品如雨後春筍層出不窮，特別是2009年由加州大學伯克利分校AMP實驗室開發的Spark，它以記憶體迭代計算的高效和各元件所形成一棧式解決平臺成為這些產品的翹楚。

Spark在2013年6月成為Apache孵化專案，8個月後成為其頂級專案，在2014年5月份釋出了1.0版本，在2016年7月份正式釋出了2.0版本，在這個過程中Spark社群不斷壯大，成為了最為活躍的大資料社群之一。作為大資料處理的“利器”，Spark在發展過程中不斷地演進，在各個版本存在較大的差異，市面上關於介紹的Spark已經不少，但是這些書基於Spark版本稍顯陳舊，另外在介紹Spark的時候未能把原理、程式碼和例項相結合，基於這個情況筆者便有了寫一本在剖析Spark原理的同時結合實際例項，從而讓讀者能夠更加深入理解和掌握Spark。

在本書中先對Spark的生態圈進行了介紹，講述了Spark的發展歷程，同時也介紹Spark實戰環境的搭建，接下來從Spark的程式設計模型、作業執行、儲存原理和執行架構等方面講解了Spark內部核心原理，最後對Spark的各元件進行詳細介紹，這些元件包括了Spark SQL的即席查詢、Spark Streaming的實時流處理應用、MLbase/MLlib的機器學習、GraphX的圖處理、SparkR的數學計算和Alluxio的分散式記憶體檔案系統等。

讀者物件

（1） 大資料愛好者

隨著大資料時代的來臨，無論傳統行業、IT行業以及網際網路等行業都將涉及到大資料技術，本書能夠幫助這些行業的大資料愛好者瞭解Spark生態圈和發展演進趨勢。通過本書可以瞭解到Spark特點和使用的場景，如果希望繼續深入學習Spark知識，該書也是很好的入門選擇。

（2） Spark開發人員

如果要進行Spark應用的開發，僅僅掌握Spark基本使用方法是不夠的，還需深入瞭解Spark的設計原理、架構和執行機制。在本書中將深入淺出地講解Spark的程式設計模型、作業執行機制、儲存原理和執行架構等內容，通過這些內容的學習，可以編寫出更加高效的應用程式。

（3） Spark運維人員

作為一名Spark運維人員，適當瞭解Spark的設計原理、架構和執行機制對於運維工作十分有幫助。通過該書的學習，不僅能夠更快地定位並排除故障，而且還能夠對Spark執行進行調優，讓Spark執行更加穩定和快速。

（4） 資料科學家和演算法研究

隨著大資料技術的發展，實時流計算、機器學習、圖計算等領域成為較熱的研究方向，由於Spark有著較為成熟的生態圈，能夠一棧式解決類似場景的問題。這些研究人員可以通過本書加深對Spark的原理和應用場景的理解，能夠更好地利用Spark各個元件進行資料計算和演算法實現。

內容速覽

本書分為三個部分，共計12章。

第一部分為基礎篇（第1~2章），介紹了Spark誕生的背景、演進歷程，介紹了Spark生態圈的組成，並詳細地介紹如何搭建Spark實戰環境，通過該環境不僅可以閱讀Spark原始碼，而且可以開發Spark應用程式。

第二部分為核心篇（第3~6章），講解了Spark的程式設計模型、核心原理、儲存原理和執行架構，在核心原理中對Spark通訊機制、作業執行原理、排程演算法、容錯和監控管理等進行了深入的分析，在分析原理和程式碼的同時結合例項進行演示。

第三部分為元件篇（第7~12章），介紹了Spark的各個元件，包括了Spark SQL的即席查詢、Spark Streaming的實時流處理應用、MLbase/MLlib的機器學習、GraphX的圖處理、SparkR的數學計算和Alluxio的分散式記憶體檔案系統等。

另外本書後面還包括5個附錄：附錄A為編譯安裝Hadoop，附錄B為安裝MySql資料庫，附錄C為編譯安裝Hive，附錄D為安裝ZooKeeper，附錄E為安裝Kafka。由於該書篇幅的限制，這些內容在作者的部落格可以下載。

勘誤和支援

由於筆者的水平有限，加之編寫時間跨度較長，同時Spark演進較快，在編寫此書的過程中難免會出現錯誤或者不準確的地方，懇請讀者批評指正。如果本書存有錯誤，或者您有Spark的內容需要探討，可以傳送郵件到[email protected]進行聯絡，期待能夠得到大家的反饋。

致謝

感謝中油瑞飛公司，讓我接觸到大資料的世界，並工作的過程中深入瞭解Spark，感謝吳建平、於鵬、李新宅、祝軍、張文逵、馬君博士、盧文君等領導同事，在本書編寫中提供無私的幫助和寶貴的建議。

感謝京東商城的付彩寶、沈曉凱對我工作和該書的支援，感謝付彩寶在繁忙的工作為本書寫推薦，感謝京東資料探勘架構師何雲龍為我作序，感謝大資料平臺部的周龍波對該書提出了寶貴意見。

感謝EMC常雷博士為本書審稿並寫推薦。

感謝Alluxio CEO的李浩源博士對本書的支援，感謝範斌在非常忙的工作中，抽出時間給Alluxio章節進行了審稿並提供了很好的建議。

感謝電子出版社的安娜編輯，正式由於她耐心和支援才讓本書的得以出版。

感謝我的家人對自己的支援和理解，特別是在寫書過程中老婆又添猴寶寶，讓自己擁有一對健康可愛的兒女，這些給自己莫大的動力，讓自己的努力更加有意義。

謹以此書先給我親愛的家人，你們是我努力的源泉。