大資料學習：Spark是什麼，如何用Spark進行資料分析
給大家分享一下Spark是什麼?如何用Spark進行資料分析，對大資料感興趣的小夥伴就隨著小編一起來了解一下吧。
大資料線上學習
什麼是Apache Spark?
Apache Spark是一個為速度和通用目標設計的叢集計算平臺。
從速度的角度看，Spark從流行的MapReduce模型繼承而來，可以更有效地支援多種型別的計算，如互動式查詢和流處理。速度在大資料集的處理中非常重要，它可以決定使用者可以互動式地處理資料，還是等幾分鐘甚至幾小時。Spark為速度提供的一個重要特性是其可以在記憶體中執行計算，即使對基於磁碟的複雜應用，Spark依然比MapReduce更有效。
從通用性來說，Spark可以處理之前需要多個獨立的分散式系統來處理的任務，這些任務包括批處理應用、互動式演算法、互動式查詢和資料流。通過用同一個引擎支援這些任務，Spark使得合併不同的處理型別變得簡單，而合併操作在生產資料分析中頻繁使用。而且，Spark降低了維護不同工具的管理負擔。
Spark被設計的高度易訪問，用Python、Java、Scala和SQL提供簡單的API，而且提供豐富的內建庫。Spark也與其他大資料工具進行了整合。特別地，Spark可以執行在Hadoop的叢集上，可以訪問任何Hadoop的資料來源，包括Cassandra。
Spark 核心元件
Spark核心元件包含Spark的基本功能，有任務排程元件、記憶體管理元件、容錯恢復元件、與儲存系統互動的元件等。Spark核心元件提供了定義彈性分散式資料集(resilient distributed datasets，RDDs)的API，這組API是Spark主要的程式設計抽象。RDDs表示分佈在多個不同機器節點上，可以被並行處理的資料集合。Spark核心元件提供許多API來建立和操作這些集合。
Spark SQLSpark SQL是Spark用來處理結構化資料的包。它使得可以像Hive查詢語言(Hive Query Language, HQL)一樣通過SQL語句來查詢資料，支援多種資料來源，包括Hive表、Parquet和JSON。除了為Spark提供一個SQL介面外，Spark SQL允許開發人員將SQL查詢和由RDDs通過Python、Java和Scala支援的資料程式設計操作混合進一個單一的應用中，進而將SQL與複雜的分析結合。與計算密集型環境緊密整合使得Spark SQL不同於任何其他開源的資料倉庫工具。Spark SQL在Spark 1.0版本中引入Spark。
Shark是一個較老的由加利福尼亞大學和伯克利大學開發的Spark上的SQL專案，通過修改Hive而執行在Spark上。現在已經被Spark SQL取代，以提供與Spark引擎和API更好的整合。
Spark流(Spark Streaming)Spark流作為Spark的一個元件，可以處理實時流資料。流資料的例子有生產環境的Web伺服器生成的日誌檔案，使用者向一個Web服務請求包含狀態更新的訊息。Spark流提供一個和Spark核心RDD API非常匹配的操作資料流的API，使得程式設計人員可以更容易地瞭解專案，並且可以在操作記憶體資料、磁碟資料、實時資料的應用之間快速切換。Spark流被設計為和Spark核心元件提供相同級別的容錯性，吞吐量和可伸縮性。
MLlibSpark包含一個叫做MLlib的關於機器學習的庫。MLlib提供多種型別的機器學習演算法，包括分類、迴歸、聚類和協同過濾，並支援模型評估和資料匯入功能。MLlib也提供一個低層的機器學習原語，包括一個通用的梯度下降優化演算法。所有這些方法都可以應用到一個叢集上。
GraphXGraphX是一個操作圖(如社交網路的好友圖)和執行基於圖的平行計算的庫。與Spark流和Spark SQL類似，GraphX擴充套件了Spark RDD API，允許我們用和每個節點和邊繫結的任意屬性來建立一個有向圖。GraphX也提供了各種各樣的操作圖的操作符，以及關於通用圖演算法的一個庫。
叢集管理器Cluster Managers在底層，Spark可以有效地從一個計算節點擴充套件到成百上千個節點。為了在最大化靈活性的同時達到這個目標，Spark可以執行在多個叢集管理器上，包括Hadoop YARN，Apache Mesos和一個包含在Spark中的叫做獨立排程器的簡易的叢集管理器。如果你在一個空的機器群上安裝Spark，獨立排程器提供一個簡單的方式;如果你已經有一個Hadoop YARN或Mesos叢集，Spark支援你的應用允許在這些叢集管理器上。第七章給出了不同的選擇，以及如何選擇正確的叢集管理器。
誰使用Spark?用Spark做什麼?
由於Spark是一個面向叢集計算的通用框架，可用於許多不同的應用。使用者主要有兩種：資料科學家和資料工程師。我們仔細地分析一下這兩種人和他們使用Spark的方式。明顯地，典型的使用案例是不同的，但我們可以將他們粗略地分為兩類，資料科學和資料應用。
資料科學的任務資料科學，近幾年出現的一門學科，專注於分析資料。儘管沒有一個標準的定義，我們認為一個數據科學家的主要工作是分析和建模資料。資料科學家可能會SQL，統計學，預測模型(機器學習)，用Python、MATLAB或R程式設計。資料科學家能將資料格式化，用於進一步的分析。
資料科學家為了回答一個問題或進行深入研究，會使用相關的技術分析資料。通常，他們的工作包含特殊的分析，所以他們使用互動式shell，以使得他們能在最短的時間內看到查詢結果和程式碼片段。Spark的速度和簡單的API介面很好地符合這個目標，它的內建庫意味著很多演算法可以隨時使用。
Spark通過若干元件支援不同的資料科學任務。Spark shell使得用Python或Scala進行互動式資料分析變得簡單。Spark SQL也有一個獨立的SQL shell，可以用SQL進行資料分析，也可以在Spark程式中或Spark shell中使用Spark SQL。MLlib庫支援機器學習和資料分析。而且，支援呼叫外部的MATLAB或R語言編寫的程式。Spark使得資料科學家可以用R或Pandas等工具處理包含大量資料的問題。
有時，經過初始的資料處理階段後，資料科學家的工作將被產品化，擴充套件，加固(容錯性)，進而成為一個生產資料處理應用，作為商業應用的一個元件。例如，一個數據科學家的研究成果可能會產生一個產品推薦系統，整合到一個web應用上，用來向用戶生成產品建議。通常由另外的人員(如工程師)對資料科學家的工作進行產品化。
資料處理應用Spark的另外一個主要的使用可以從工程師的角度進行描述。在這裡，工程師指使用Spark來構建生產資料處理應用的大量的軟體開發者。這些開發者瞭解軟體工程的概念和原則，如封裝、介面設計和麵向物件程式設計。他們通常有計算機學科的學位。他們通過自己的軟體工程技能來設計和構建實現某個商業使用場景的軟體系統。
對工程師而言，Spark提供了一個簡單的方式在叢集之間並行化這些應用，隱藏了分散式系統、網路通訊和容錯處理的複雜性。系統使得工程師在實現任務的同時，有充足的許可權監控、檢查和調整應用。API的模組特性使得重用已有工作和本地測試變得簡單。
Spark使用者使用Spark作為其資料處理應用，因為他提供了豐富的功能，易於學習和使用，而且成熟可靠。如果你已經做好準備，那麼就立即開始行動吧！
大家多多關注，你的關注是我最大的動力。
想學習大資料的可以加群：834325294
群裡有免費的學習視訊和文件可以領取，最重要的是還有大牛給你解答你的疑問