在Spark中， 諸如ReduceByKey，GroupByKey等操作會觸發Shuffle， 影響效能。
本文提供了一種利用廣播Broadcast， 實現了join操作， 避免了Shuffle。

正常的join操作

    val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("test"))
    // data1為較小資料， data2為較大資料
    val data1 = sc.parallelize(Array(("1", "aa"),("2", "bb"),("3", "cc")),2)
    val data2 = sc.parallelize(Array(("1", "spark", "hadoop"),("2", "ElasticSearch", "Flume"),("3", "Kafka", "Redis"),("4", "Flink", "HDFS"),("5", "Yarn", "Linux"),("6", "Windows", "MySQL")),3)
        .map(x=>(x._1, x))

   data1.join(data2).foreach(println(_))
 

本文利用的方法

    val data1Broadcast = sc.broadcast(data1.collectAsMap())
    data2.map(x => {
      (x, data1Broadcast.value.getOrElse(x._1, ""))
    }).filter(_._2!="").foreach(println(_))

其中， Broadcast會將資料分發至每個節點的記憶體中， 本方法只適合小資料，