1. 程式人生 > >spark連線並讀取本地檔案報錯總結

spark連線並讀取本地檔案報錯總結

1.scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

錯誤原因:scala版本與spark版本相容問題導致,可在maven倉庫看spark所使用jar包支援的scala版本。

注意點:在idea中全域性設定調整scala版本時,注意該專案是否對改變生效。

2.java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf

類似相關jar包裡的類找不到問題,檢查pom是否包含以下四個:

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
        <version>2.7.2</version>
    </dependency>