Spark1.6.0 原始碼編譯和部署包生成
阿新 • • 發佈:2019-02-07
文章基本採用官方指導:
1、在spark官網下載原始碼,要選擇source code
2、在環境變數裡設定maven記憶體大小
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
3、編譯及打包
## 簡單的編譯Spark和example程式 mvn -DskipTests clean package ## 指定hadoop版本compile mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.7.1 -DskipTests clean package ## 打包 bash make-distribution.sh --tgz --mvn /opt/maven/bin/mvn -Phive -Pyarn -Phadoop-2.6 -Phadoop-provided -Pnetlib-lgpl -Phive -Pscala-2.10 -Dhadoop.version=2.7.1 [--name 如果需要指定自己的tar名稱] ## 打包 -- spark 1.4以後,取消了compute-classpath.sh指令碼,導致所有通過本地起的程式無法找到hadoop相關的jar包,因此本地的程式需要使用如下的方式打包 make-distribution.sh --tgz --mvn /opt/maven/bin/mvn -Phive -Pyarn -Phadoop-2.6 -Pnetlib-lgpl -Phive -Pscala-2.10 -Dhadoop.version=2.7.1 ## 指定hive sh make-distribution.sh --tgz --mvn /opt/maven/bin/mvn -Phive -Phive-thriftserver -Pyarn -Phadoop-2.6 -Pnetlib-lgpl -Phive -Pscala-2.10 -Dhadoop.version=2.7.1 -Dhive.version.short=1.2.1
4、注意事項:
本例子使用maven打包,如果你有私服,儘量配上,下載會快些。