在spark程式中，當一個傳遞給Spark操作(例如map和reduce)的函式在遠端節點上面執行時，Spark操作實際上操作的是這個函式所用變數的一個獨立副本。這些變數會被複制到每臺機器上，並且這些變數在遠端機器上的所有更新都不會傳遞迴驅動程式。通常跨任務的讀寫變數是低效的，但是，Spark還是為兩種常見的使用模式提供了兩種有限的共享變數：廣播變（broadcast variable）和累加器（accumulator）。

一、廣播變數

1）.為什麼要將變數定義成廣播變數？

     如果我們要在分散式計算裡面分發大物件，eg：字典，集合，黑白名單等，這個都會用driver端進行分發，一般來講，如果這個變數不是廣播變數，那麼每個task就會分發一份，這在task數目十分多的情況下driver的頻寬會成為系統的瓶頸，如果將這個變數宣告為廣播變數，那麼知識每個executor擁有一份，這個executor啟動的task會共享這個變數，節省了通訊的成本。

補充： driver、executor、task 名詞解析

2）.如何定義一個廣播變數？

val a = Array(1,2,3,4,5)

val b = sc.broadcast(a)

3）.如何獲取一個廣播變數？

val c = b.value

4）.定義廣播變數需要的注意點？

     1、能不能將一個RDD使用廣播變數廣播出去？

            不能，因為RDD是不儲存資料的。可以將RDD的結果廣播出去。

     2、 廣播變數只能在Driver端定義，不能在Executor端定義。

     3、 在Driver端可以修改廣播變數的值，在Executor端無法修改廣播變數的值。

     4、如果executor端用到了Driver的變數，如果不使用廣播變數在Executor有多少task就有多少Driver端的變數副本。

     5、如果Executor端用到了Driver的變數，如果使用廣播變數在每個Executor中只有一份Driver端的變數副本。

二、累加器

1）.為什麼要將一個變數定義為一個累加器？

     在spark應用程式中，我們經常會有這樣的需求，如異常監控，除錯，記錄符合某特性的資料的數目，這種需求都需要用到計數器，如果一個變數不被宣告為一個累加器，那麼它將在被改變時不會再driver端進行全域性彙總，即在分散式執行時每個task執行的知識原始變數的一個副本，並不能改變原始變數的值，但是當這個變數被宣告為累加器後，該變數就會有分散式計數的功能。

2）.如何定義一個累加器？

val a = sc.accumulator(0)

3）.如何獲取一個累加器？

val b = a.value

4）.定義累加器注意事項

      累加器在Driver端定義賦初始值，累加器只能在Driver端讀取最後的值，在Excutor端更新。