2. 程式人生 > >spark筆記之RDD的緩存

spark筆記之RDD的緩存

阿新 • • 發佈：2018-08-13
process color RoCE 就是 發現 mark 其他 動作 blog

Spark速度非常快的原因之一，就是在不同操作中可以在內存中持久化或者緩存數據集。當持久化某個RDD後，每一個節點都將把計算分區結果保存在內存中，對此RDD或衍生出的RDD進行的其他動作中重用。這使得後續的動作變得更加迅速。RDD相關的持久化和緩存，是Spark最重要的特征之一。可以說，緩存是Spark構建叠代式算法和快速交互式查詢的關鍵。
7.1RDD緩存方式
RDD通過persist方法或cache方法可以將前面的計算結果緩存，但是並不是這兩個方法被調用時立即緩存，而是觸發後面的action時，該RDD將會被緩存在計算節點的內存中，並供後面重用。
技術分享圖片
通過查看源碼發現cache最終也是調用了persist方法，默認的存儲級別都是僅在內存存儲一份，Spark的存儲級別還有好多種，存儲級別在object StorageLevel中定義的。
技術分享圖片
緩存有可能丟失，或者存儲於內存的數據由於內存不足而被刪除，RDD的緩存容錯機制保證了即使緩存丟失也能保證計算的正確執行。通過基於RDD的一系列轉換，丟失的數據會被重算，由於RDD的各個Partition是相對獨立的，因此只需要計算丟失的部分即可，並不需要重算全部Partition。

spark筆記之RDD的緩存

相關推薦

spark筆記之RDD的緩存

process color RoCE 就是 發現 mark 其他 動作 blog Spark速度非常快的原因之一，就是在不同操作中可以在內存中持久化或者緩存數據集。當持久化某個RDD後，每一個節點都將把計算分區結果保存在內存中，對此RDD或衍生出的RDD進行的其他動作中重用

spark筆記之RDD容錯機制之checkpoint

原理 chain for 機制 方式 方法 相對 例如 contex 10.checkpoint是什麽（1）、Spark 在生產環境下經常會面臨transformation的RDD非常多（例如一個Job中包含1萬個RDD）或者具體transformation的RDD本身計算

C++ primer 第十二章筆記之 動態內存

weak memory ont 創建 tor size prim 自動 pre 動態內存: 運算符:new,delete 智能指針: 頭文件:memory shared_ptr:允許多個指針指向同一個對象; unique_ptr:"獨占"所指向的對象; weak_ptr:

Hibernate學習之一級緩存

對象 next utf ict generator 映射 version gen con ? 版權聲明：本文為博主原創文章，轉載請註明出處 Hibernate緩存： 　　- 緩存是為了降低應用程序對物理數據源訪問的頻次，從而提供應用程序的運行性能的一種策略 　　- Hibe

Android性能優化之ListView緩存機制

ner data b2c 模式 ret hold ren state err 要想優化ListView首先要了解它的工作原理，列表的顯示須要三個元素：ListView、Adapter、顯示的數據。 這裏的Adapter就是用到了適配器模式，無論傳入的是什麽View在Li

mybatis學習筆記(14)-查詢緩存之中的一個級緩存

set mybatis 運行時 二級緩存 ria ice rac com 配置 mybatis學習筆記(14)-查詢緩存之中的一個級緩存

CDN技術之--內容緩存工作原理

nginx 完成後 服務器驗證 網絡 新鮮度 1.0 工作 mod 擴展 有CDN前的網站服務技術–硬件擴展：高成本，靈活性和可擴展性比較差–鏡像技術（mirroring）：鏡像服務器安裝有一個可以進行自動遠程備份的軟件，每隔一定時間，各個鏡像服務器就會到網站的源服務器上去

hibernate框架學習筆記5：緩存

很好 close nts oid img 關閉資源 次方 兩個 res 緩存不止存在與程序中，電腦硬件乃至於生活中都存在緩存 目的：提高效率 比如IO流讀寫字節，如果沒有緩存，讀一字節寫一字節，效率低下 hibernate中的一級緩存：提高操作數據庫的效率 示例：

hibernate框架學習之一級緩存

commit 任務 功能區 出了 運行 發生 快照 class 可以關閉 l緩存是存儲數據的臨時空間，減少從數據庫中查詢數據的次數lHibernate中提供有兩種緩存機制?一級緩存(Hibernate自身攜帶)?二級緩存(使用外部技術)lHibernate的一級緩存即Hib

spark筆記之數組、映射、元組、集合

轉變 mmu 寫法 構建 -o ipa 一個數 不包含 lec 1.1. 數組1.1.1. 定長數組和變長數組（1）定長數組定義格式：val arr=new ArrayT（2）變長數組定義格式：val arr = ArrayBuffer[T]()註意需要導包：import

spark筆記之模式匹配和樣例類

數組 object c spa 協調 一個 數據 好的 處理 zookeepe 階有一個十分強大的模式匹配機制，可以應用到很多場合：如開關語句，類型檢查等並且階還提供了樣例類，對模式匹配進行了優化，可以快速進行匹配。1.1。匹配字符串 package cn.itcast.c

spark筆記之Scala中的上下界

sca 有時 上下 park 允許 子類 類型 調用父類 使用 1.1. 上界、下界介紹在指定泛型類型時，有時需要界定泛型類型的範圍，而不是接收任意類型。比如，要求某個泛型類型，必須是某個類的子類，這樣在程序中就可以放心的調用父類的方法，程序才能正常的使用與運行。此時，就可

spark筆記之Scala演員並發編程

obj submit for 什麽 資源競爭 運用 art http 線程 1.1. 課程目標1.1.1. 目標一：熟悉Scala Actor並發編程1.1.2. 目標二：為學習Akka做準備註：Scala Actor是scala 2.10.x版本及以前版本的Actor。S

Spark筆記之Catalog

const lap 分享 stc rar 類型 保存 基本 params 一、什麽是Catalog Spark SQL提供了執行sql語句的支持，sql語句是以表的方式組織使用數據的，而表本身是如何組織存儲的呢，肯定是存在一些元數據之類的東西了，Catalog就是Spa

spark筆記之DAG的生成

roc alt 開始 color part tex art RoCE shuff 8.1什麽是DAGDAG(Directed Acyclic Graph)叫做有向無環圖，原始的RDD通過一系列的轉換就形成了DAG，根據RDD之間依賴關系的不同將DAG劃分成不同的Stage(

spark筆記之Spark任務調度

fda 調度 water 周期 taskset 完成 構建 任務 shadow 9.1 任務調度流程圖各個RDD之間存在著依賴關系，這些依賴關系就形成有向無環圖DAG，DAGScheduler對這些依賴關系形成的DAG進行Stage劃分，劃分的規則很簡單，從後往前回溯，遇到

spark core之RDD編程

緩存 code 會有 核心 hdf 機器 end action rdd   spark提供了對數據的核心抽象——彈性分布式數據集（Resilient Distributed Dataset，簡稱RDD）。RDD是一個分布式的數據集合，數據可以跨越集群中的

spark筆記之Spark運行架構

示意圖 exe 使用 sta yarn 釋放 構建 遠程 work Spark運行基本流程Spark運行基本流程參見下面示意圖：1) 構建Spark Application的運行環境（啟動SparkContext），SparkContext向資源管理器（可以是Stand

11.spark sql之RDD轉換DataSet

Once lds nco ldd 方法 att context gin statement 簡介 ??Spark SQL提供了兩種方式用於將RDD轉換為Dataset。 使用反射機制推斷RDD的數據結構 ??當spark應用可以推斷RDD數據結構時，可使用這種方式。這種

計算機組成原理之高速緩存

過程 概念 高速 可能 關於 判斷 下標 一個數 這一 這一篇也是計算機組成中比較重要的概念，高速緩存。 上一篇已經講了存儲層次結構，接下來看看高速緩存的原理。 Cache取回數據時並不只是取回CPU要求的單個數據，而是取回一個數據塊Block,其實這是一個預期的行為，比如