Spark RDD來源：1，使用程式中的集合建立RDD（用於小量測試）;  2，使用本地檔案系統建立RDD（測試大資料）;  3，使用HDFS建立RDD（生產環境最常用的RDD建立方式）;  4，基於DB建立RDD;  5，基於NoSQL，例如HBase;  6，基於S3建立RDD;  7，基於資料流建立RDD; 前三種是比較基本的，後面4種是基於資料庫的，要注意資料本地性（getPreferedLocations）; 

1.集合建立RDD方式 的Java程式碼  

1. package
    com.imf.spark.rdd  
2.   
3. import org.apache.spark.{SparkConf, SparkContext}  
4.   
5. /** 
6.   * Created by lujinyong168 on 2016/2/2. 
7.   * DT大資料夢工廠-IMF 
8.   * 使用程式中的集合建立RDD（用於小量測試） 
9.   */  
10. object RDDCreateByCollections {  
11. def main(args: Array[String]) {  
12. val conf = new SparkConf()//建立SparkConf物件  
13. conf.setAppName("RDDCreateByCollections")//設定應用名稱  
14. conf.setMaster("local")  
15. val sc = new SparkContext(conf)//建立SparkContext物件  
16.     //建立一個Scala集合  
17. val numbers = 1 to 100  
18. val rdd = sc.parallelize(numbers)  
19. //    val rdd = sc.parallelize(numbers,10)//設定並行度為10  
20. val sum = rdd.reduce(_+_)  
21. println("1+2+3+...+99+100="+sum)  
22.   }  
23. }  

1. package com.imf.spark.rdd  
2.   
3. import org.apache.spark.{SparkConf, SparkContext}  
4.   
5. /** 
6.   * Created by lujinyong168 on 2016/2/2. 
7.   * DT大資料夢工廠-IMF 
8.   * 使用本地檔案系統建立RDD（測試大量資料） 
9.   * 統計文字中的字元個數 
10.   */  
11. object RDDCreateByLocal {  
12. def main(args: Array[String]) {  
13. val conf = new SparkConf()//建立SparkConf物件  
14. conf.setAppName("RDDCreateByLocal")//設定應用名稱  
15. conf.setMaster("local")  
16. val sc = new SparkContext(conf)//建立SparkContext物件  
17. val rdd = sc.textFile("D://testspark//WordCount.txt")  
18. val linesLen = rdd.map(line=>line.length)  
19. val sum = linesLen.reduce(_+_)  
20. println("The total characters of the file is : "+sum)  
21.   }  
22. }  

1. package com.imf.spark.rdd  
2.   
3. import org.apache.spark.{SparkConf, SparkContext}  
4.   
5. /** 
6.   * Created by lujinyong168 on 2016/2/2. 
7.   * DT大資料夢工廠-IMF 
8.   * 使用HDFS建立RDD（生產環境最常用的RDD建立方式） 
9.   */  
10. object RDDCreateByHDFS {  
11. def main(args: Array[String]) {  
12. val conf = new SparkConf()//建立SparkConf物件  
13. conf.setAppName("RDDCreateByHDFS")//設定應用名稱  
14. conf.setMaster("local")  
15. val sc = new SparkContext(conf)//建立SparkContext物件  
16. val rdd = sc.textFile("/library/")  
17. val linesLen = rdd.map(line=>line.length)  
18. val sum = linesLen.reduce(_+_)  
19. println("The total characters of the file is : "+sum)  
20.   }  
21. }  

4.對資料進行分片

使用coalesce，不要用repartition

Spark容錯方式

a.資料檢查點和記錄資料的更新

資料檢查點會每次都進行資料的靠背，這個需要很大的記憶體

rdd通過記錄資料的更新的方式為什麼會更高效？

1.rdd是不可變的，且加上lazy

   a.不存在全域性修改的問題，控制難度就會大大下降，在此基礎上有控制鏈條，如果有100個步驟，在第99個不走失敗了，可以直接從第99個步驟上開始恢復

   b.對於rdd的操作寫都是粗粒度的，rdd的讀操作既可以是粗粒度的也可以是細粒度的

   c.lazy級別的進行鏈式展開式，不會產生那個多的中間結果

參考：

https://blog.csdn.net/zdy0_2004/article/details/50132509

https://www.cnblogs.com/dt-zhw/p/5664663.html

https://www.2cto.com/net/201711/697288.html

https://www.csdn.net/article/2015-06-21/2825011