1.0 阿里雲環境開發準備
阿新 • • 發佈：2018-11-08
1 開發環境準備
目錄
1.1 下載並解壓spark包
- 下載Spark on MaxCompute安裝包,本專案中使用的是spark-1.6.3-public進行開發。
- 將下載好的spark包解壓至C盤根目錄中。
1.2 設定環境變數
JAVA_HOME設定
export JAVA_HOME=/path/to/jdk export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH
SPARK_HOME設定
export SPARK_HOME=/path/to/spark_extracted_package
export PATH=$SPARK_HOME/bin:$PATH1.3 設定Spark-defaults.conf
在$SPARK_HOME/conf路徑下存在spark-defaults.conf檔案，需要在該檔案中設定MaxCompute相關的賬號資訊後，才可以提交Spark任務到MaxCompute。預設配置內容如下，將空白部分根據實際的賬號資訊填上即可。
注：name: UAES_Test
id: LTAIvB7OxN8s5rqU
key: i6UFXAVkIrcknAsR6PU4KFe8StLrGJ
# OdpsAccount Info Setting spark.hadoop.odps.project.name= spark.hadoop.odps.access.id= spark.hadoop.odps.access.key= spark.hadoop.odps.end.point= #spark.hadoop.odps.moye.trackurl.host= #spark.hadoop.odps.cupid.webproxy.endpoint= spark.sql.catalogImplementation=odps # spark-shell Setting spark.driver.extraJavaOptions -Dscala.repl.reader=com.aliyun.odps.spark_repl.OdpsIntera ctiveReader -Dscala.usejavacp=true # SparkR Setting # odps.cupid.spark.r.archive=/path/to/R-PreCompile-Package.zip # Cupid Longtime Job # spark.hadoop.odps.cupid.engine.running.type=longtime # spark.hadoop.odps.cupid.job.capability.duration.hours=8640 # spark.hadoop.odps.moye.trackurl.dutation=8640 # spark.r.command=/home/admin/R/bin/Rscript # spark.hadoop.odps.cupid.disk.driver.enable=false spark.hadoop.odps.cupid.bearer.token.enable=false spark.hadoop.odps.exec.dynamic.partition.mode=nonstrict