用df計算sql,寫入hive表，用相同的聚合處理3類不同的distinct（因為一次只算一個distinct可以利用shuffle的分發，提高速度，對大資料量的處理，比如20億條資料distinct，大概只能一次distinct一個值了。）發現對於資料量較小的第二，第三塊處理時間較快，對較多的groupping sets產生資料也較少，而對第一個有20億條需要處理的部分則輸入50G，產生2Tgroupping後的資料，之後在再次聚合的時候應該發生了傾斜。問題在於：對於同樣的輸入，為什麼一開始input就大小不一樣？shuffle write輸出了什麼，為什麼50G輸入會輸出2T資料？如果第一部分聚合好，第二部分不應該傾斜，原因是什麼？

傾斜情況觀察

輸入輸出讓我不能理解的地方

另外當聚合的group維度上升到7維時，執行第一階段任務大批量失敗，應該是executor的記憶體滿了，報錯是can not find address;後來降了一維為減輕傾斜的維度後第一階段正常執行，但是第二階段傾斜如上所述。