1. 程式人生 > >spark程式報錯:java.lang.IndexOutOfBoundsException

spark程式報錯:java.lang.IndexOutOfBoundsException

讀入的text文件,x.split("\\|").toDF。如果最後一列(或最後幾列)有空資料,map(x => x(lastone)),就會報陣列越界的錯,java.lang.IndexOutOfBoundsException。

所以只要用x.split("\\|",-1)這個就能解決。

如果hive裡面多個表指向同一個路徑,也會出現同樣的報錯。可以參考我朋友的解決方案。

https://blog.csdn.net/lsr40/article/details/81289499