1. 程式人生 > >spark中的各種運算元分類

spark中的各種運算元分類

1、Trasformtion運算元
union、reduceByKey、groupBy、join、map、mapPartition
、cogroup、parallelize、textFile、leftoutJoin、flatMap、coalesce、Repartition

2、Action運算元
count、take、collect、foreach、foreachPartition、saveAsTextFile、ditinct、
first、reduce

3、shuffle運算元
reduceByKey、groupBy、join、coalesce、Repartition、leftoutJoin、cogroup

4、產生Stage劃分的運算元
reduceByKey、groupBy、join、coalesce、Repartition、leftoutJoin、cogroup

5、觸發Job運算元

count、take、collect、foreach、foreachPartition、saveAsTextFile、ditinct、
first、reduce