1. 程式人生 > >將rdd儲存到本地的一個檔案中

將rdd儲存到本地的一個檔案中

有時候我們要將一個很大的rdd檔案儲存到本地,都會用 saveAsTextFile(path)

但是發現數據被儲存為幾個檔案(部分)

一般是執行多少task就會儲存多少檔案

這是為了更好的進行並行操作

但是你非的要存成一個檔案,也是可以的

data.coalesce(1,true).saveAsTextFile("/home/wangtuntun/saveAsSingleFile")
或者

data.repartition(1).saveAsTextFile("/data/aas/AliMusic/submit_layout_data.csv")

其中,data是一個rdd型別的變數