預設輸出info級別，結果都淹沒在info海洋裡

先看看自己的eclipse輸出的第一行

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

然後再找找spark的import執行的jar包的spark-core所在位置（CTRL+T）

我的在

/home/hadoop/.m2/repository/org/apache/spark/spark-core_2.11/2.1.0

找到後，命令列下解壓

jar xvf spark-core_2.11-2.1.0.jar

find ./ -name log4j*.*

./org/apache/spark/log4j-defaults.properties

修改log4j-defaults.properties中的info級別為WARN即可

然後再打包

jar cvf spark-core_2.11-2.1.0.jar ./org/* ./META-INF/*

執行看看是不是一下子很簡潔了