1.spark入門

閱讀《spark快速大資料分析》這本書，總共11章 ，每天閱讀一章左右，大概花兩週時間就可以看完了。

在windows和linux上分別部署開發環境和測試、生產環境。

1.1  開發環境

（1）idea開發

在windows上用idea 部署scala應用程式的時候，總是報錯。發現是外掛的問題，新下載了一個idea ic2018.3，終於可以使用。

在settings-plugins中搜索scala，安裝scala就可以啦。

新建專案很簡單，create new project 

檢視sbt中的hello world教程：

（2）命令列配置

下面是配置sbt的方法

現在看官網上的描述，配置scala只需要下載sbt，就可以了。sbt-1.2.7.msi

一路next安裝完成後，需要設定個阿里雲的映象。

進入安裝目錄 D:\Apps\sbt\conf，修改sbtconfig.txt

-Dsbt.repository.config=D:/Apps/sbt/conf/repo.properties
-Dsbt.repository.secure=false

# 設定代理
# -Dhttp.proxyHost=10.18.11.11
# -Dhttp.proxyPort=8080
# -Dhttp.proxyUser=xx
# -Dhttp.proxyPassword=xx

# -Dhttps.proxyHost=10.18.1111
# -Dhttps.proxyPort=8080
# -Dhttps.proxyUser=xx
# -Dhttps.proxyPassword=xx
 

然後新增repo.properties

[repositories]
  local
  aliyun: http://maven.aliyun.com/nexus/content/groups/public/
  typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
  sonatype-oss-releases
  maven-central
  sonatype-oss-snapshots
 

安裝完成，輸入sbt，如果進入命令列就表明時正確的了。

進入命令列後，輸入 sbtVersion 檢視版本