2016年12月28日釋出

此版本更改

預設scala版本是Scala 2.11

官網看到

Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.0uses Scala 2.11. You will need to use a compatible Scala version(2.11.x).

Spark 2.1.0uses Scala 2.11.x（沒有＋這個符號，高了低了都無法使用）,官網是這麼寫的.筆者本人也沒有試過.(有人試過給筆者留言)

,這個版本更關注於可用性,穩定性

更新：

資料型別的api是穩定的api；

rom_json和to_json解析JSON字串列；

當建立PySpark DataFrame,Python字典可以用作StructType的值；

可伸縮的分割槽處理；

Kafka 0.10 support in Structured Streaming；

Locality Sensitive Hashing（hash的api有些更新）；

SparkR

GraphX