第12課：spark高可用(HA)框架

阿新 • • 發佈：2018-12-14

worker管理資源：記憶體，cpu

只有standby模式的master變成active模式時才能想叢集提交任務，master切換過程不會影響程式的執行

原因:程式在具體執行之前已經向叢集申請過資源，這些資源已經提交給driver了，也就是說已經分配好資源了，這是粗粒度分配，一次性分配資源後不需要再關心資源分配，在執行時讓executor和driver自動互動，弊端是如果資源分配太多，任務執行完不會很快釋放，造成資源浪費

細粒度：任務提交太慢

安裝好zookeeper檢視任務執行情況

worker管理資源：記憶體，cpu 只有standby模式的master變成active模式時才能想叢集提交任務，master切換過程不會影響程式的執行原因:程式在具體執行之前已經向叢集申請過資源，這些資源已經提交給driver了，也就是說已經分配好資源了，這是粗粒度分配，一次性分配

日常使用 mil rtc 一行 ade user 新頁面 form -s 1. html之head部分的常用標簽的使用  <!DOCTYPE html> <html lang="en

hadoop 的MapReduce是基於資料集的,位置感知，容錯負載均衡基於資料集的處理：從物理儲存上載入資料，然後操作資料，然後寫入物理儲存裝置；基於資料集的操作不適應的場景： 1，不適合於大量的迭代 2，互動式查詢

內容： 1.演示Full GC 2.徹底解析FullGC的每一個欄位一、演示Full GC [Full GC (Ergonomics) [PSYoungGen: 944K->890K(2048K)] [ParOldGen: 7129K->7

內容： 1.SparkSQL案例分析 2.SparkSQL下采用Java和Scala實現案例一、SparkSQL下采用Java和Scala實現案例學生成績： {"name":"Michael","score":98} {"name":"Andy"

內容： 1.SparkSQL操作關係資料庫意義 2.SparkSQL操作關係資料庫一、通過SparkSQL操作關係資料庫意義 1.SparkSQL可以通過jdbc從傳統關係型資料庫中讀寫資料，讀取資料後直接生成DataFrame，然後在加上藉助

內容： 1.SparkSQL UDF 2.SparkSQL UDAF 一、SparkSQL UDF和SparkSQL UDAF 1.解決SparkSQL內建函式不足問題，自定義內建函式， 2.UDF：User Define Functio

內容： 1.SparkSQL Thrift解析與測試 2.SparkSQL Thrift Server JDBC程式設計一、SparkSQL Thrift解析與測試 ThriftServer是一個JDBC/ODBC介面，使用者可以通過JDBC/

本期內容： Exactly once 輸出不重複 Exactly once 1，事務一定會被處理，且只被處理一次； 2，輸出能夠輸出且只會被輸出。 Receiver：資料通過BlockManager寫入記憶體+磁碟或者通過WAL來保證資料的安全性。WAL機制：寫資料

內容： 1.案例分析 2.案例實戰一、案例分析專案：以京東找出搜尋平臺排名的產品，The hottest 元資料：date，u

內容： 1.熱門論壇板塊排名 2.綜合程式碼實戰和測試一、熱門論壇板塊排版建立表： spark.sql("createtable userlogs(date st

內容： 1.Hive資料匯入操作 2.SparkSQL對資料操作實戰一、Hive資料匯入操作 create table userLogs(date String,timestamp bigint,userI

內容： 1.案例概述 2.資料來源和分析一、案例概述 PV：頁面訪問數 UV：獨立訪問數二、資料來源和分析 packag

內容： 1.SparkSQL視窗函式解析 2.SparkSQL視窗函式實戰一、SparkSQL視窗函式解析 1.spark支援兩種方式使用視窗函式： &nb

內容： 1.SparkSQL內建函式解析 2.SparkSQL內建函式實戰一、SparkSQL內建函式解析使用Spark SQL中的內建函式對資料進行分析，Spark

內容： 1.Spark SQL操作Hive解析 2.SparkSQL操作Hive實戰一、Spark SQL操作Hive解析 1.在目前企業級大資料Spark開發的時候，

第42課： Spark Broadcast內幕解密：Broadcast執行機制徹底解密、Broadcast原始碼解析、Broadcast最佳實踐Broadcast在機器學習、圖計算、構建日常的各種演算法中到處可見。 Broadcast就是將資料從一個節點發送到其它的節點上；

第14課：spark RDD解密學習筆記本期內容： 1.RDD：基於工作集的應用抽象 2.RDD內幕解密 3.RDD思考精通了RDD，學習Spark的時間大大縮短。解決問題能力大大提高，徹底把精力聚集在RDD的理解上，SparkStreaming、SparkSQL、

背景：目前No Receivers在企業中使用的越來越多。No Receivers具有更強的控制度，語義一致性。No Receivers是我們操作資料來源自然方式，操作資料來源使用一個封裝器，且是RDD型別的。所以Spark Streaming就產生了自定義R

大資料Spark “蘑菇雲”行動補充內容第70課： Spark SQL程式碼實戰和效能調優 dataframe: Row是沒有型別的，因為Row中的所有成員都被看著Object型別！！！untype