1. 程式人生 > >Spark bug:java.lang.IllegalArgumentException: Illegal pattern component: XXX 解決辦法

Spark bug:java.lang.IllegalArgumentException: Illegal pattern component: XXX 解決辦法

一.特點:

1.此問題經常出現在spark2.1.x升級到spark2.2.x的時候出現。比如通過maven構建spark環境的時候,依賴maven進行版本升級。

2.此問題出現在呼叫spark.read.json或者csv的時候出現。

二.原因

maven升級的時候,沒有自動載入完整依賴包,jsonAPI對於timeStampFormat有特殊需求,預設為

`yyyy-MM-dd'T'HH:mm:ss.SSSXXX`這種格式,是無法被scala-lang包識別的。
* <li>`timestampFormat` (default `yyyy-MM-dd'T'HH:mm:ss.SSSXXX`): sets the string that
   * indicates a timestamp format. Custom date formats follow the formats at
   * `java.text.SimpleDateFormat`. This applies to timestamp type.</li>

三.解決方式

方法一:修改option選項修改預設的timeStampFormat

spark.read.json
.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
.load

方法二:手動增加lang包的依賴,在pom檔案裡面增加:

<dependency>
      <groupId>org.apache.commons</groupId>
      <artifactId>commons-lang3</artifactId>
      <version>3.5</version>
</dependency>