1. 程式人生 > >Spark常用運算元詳解彙總 : 實戰案例、Java版本、Scala版本

Spark常用運算元詳解彙總 : 實戰案例、Java版本、Scala版本

官網API地址:

JavaRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaRDD 
JavaPairRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD

RDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD 
PairRDDFunctions:

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions

Spark運算元[01]:foreach,foreachPartition 

Spark運算元[02]:coalesce,repartition 

Spark運算元[03]:mapPartitions,mapPartitionsWithIndex 原始碼實戰案例分析 

Spark運算元[04]:map,flatMap,mapToPair,flatMapToPair 

Spark運算元[05]:parallelize,makeRDD,textFile 

Spark運算元[06]:union,distinct,cartesian,intersection,subtract 

Spark運算元[07]:reduce,reduceByKey,count,countByKey 

Spark運算元[08]:combineByKey詳解 

Spark運算元[09]:aggregateByKey、aggregate詳解

Spark運算元[10]:foldByKey、fold 原始碼例項詳解 

Spark運算元[11]:reduce、aggregate、fold 詳解 

Spark運算元[12]:groupByKey、cogroup、join、lookup 原始碼例項詳解 

Spark運算元[13]:sortByKey、sortBy、二次排序 原始碼例項詳解 

Spark運算元[14]:top、takeOrdered 原始碼例項詳解 

Spark運算元[15]:sample、takeSample 原始碼例項詳解 

Spark運算元[16]:subtractByKey、join、rightOuterJoin、leftOuterJoin 例項詳解 

Spark運算元[17]:zip、zipPartitions、zipWithIndex、zipWithUniqueId 例項詳解 

Spark運算元[18]:saveAsTextFile、saveAsObjectFile 原始碼例項詳解 

Spark運算元[19]:saveAsHadoopFile、saveAsNewAPIHadoopFile 原始碼例項詳解 

Spark運算元[20]:saveAsHadoopDataset、saveAsNewAPIHadoopDataset 例項詳解


原文:https://blog.csdn.net/leen0304/article/details/78836073