1. 程式人生 > >對於maven建立spark專案的pom.xml配置檔案(圖文詳解)

對於maven建立spark專案的pom.xml配置檔案(圖文詳解)

  不多說,直接上乾貨!

http://mvnrepository.com/

  這裡,怎麼建立,見

  這裡, 我重點說下spark專案,因為,對於hadoop這樣的,我已經寫了大量部落格了。

   比如,我目前用得較多的spark-mllib。

  這裡spark-mllib_2.10 就是你的scala版本是2.10.X系列。比如我一般是使用scala-2.10.4。

  同時,大家要養成規範,http://mvnrepository.com裡是示例如下

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.10 -->
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.10</artifactId> <version>2.2.0</version> <scope>provided</scope> </dependency>

   但是呢,我不建議這樣。反而是把版本抽取出來,

   以下是我的maven構建出來的spark專案的pom.xml,大家可以作為參考下。當然這不是最規範的。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>zhouls.bigdata</groupId>
  <artifactId>SparkMllibBook</artifactId>
  <version>1.0
-SNAPSHOT</version> <inceptionYear>2008</inceptionYear> <properties> <scala.version>2.10.4</scala.version> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hadoop.version>2.6.0</hadoop.version> <spark.version>2.2.0</spark.version> </properties> <repositories> <repository> <id>scala-tools.org</id> <name>Scala-Tools Maven2 Repository</name> <url>http://scala-tools.org/repo-releases</url> </repository> </repositories> <pluginRepositories> <pluginRepository> <id>scala-tools.org</id> <name>Scala-Tools Maven2 Repository</name> <url>http://scala-tools.org/repo-releases</url> </pluginRepository> </pluginRepositories> <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.4</version> <scope>test</scope> </dependency> <dependency> <groupId>org.specs</groupId> <artifactId>specs</artifactId> <version>1.2.5</version> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>${hadoop.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>${hadoop.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>${spark.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>${spark.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>${spark.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.10</artifactId> <version>${spark.version}</version> <scope>provided</scope> </dependency> </dependencies> <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> <configuration> <scalaVersion>${scala.version}</scalaVersion> <args> <arg>-target:jvm-1.5</arg> </args> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-eclipse-plugin</artifactId> <configuration> <downloadSources>true</downloadSources> <buildcommands> <buildcommand>ch.epfl.lamp.sdt.core.scalabuilder</buildcommand> </buildcommands> <additionalProjectnatures> <projectnature>ch.epfl.lamp.sdt.core.scalanature</projectnature> </additionalProjectnatures> <classpathContainers> <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer> <classpathContainer>ch.epfl.lamp.sdt.launching.SCALA_CONTAINER</classpathContainer> </classpathContainers> </configuration> </plugin> </plugins> </build> <reporting> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <configuration> <scalaVersion>${scala.version}</scalaVersion> </configuration> </plugin> </plugins> </reporting> </project>

  也許,大家在具體執行程式碼時,出現如下問題

相關推薦

對於maven建立spark專案pom.xml配置檔案圖文

  不多說,直接上乾貨! http://mvnrepository.com/   這裡,怎麼建立,見   這裡, 我重點說下spark專案,因為,對於hadoop這樣的,我已經寫了大量部落格了。    比如,我目前用得較多的spark-m

neo4j的配置檔案圖文

#***************************************************************** # Neo4j configuration # # For more details and a complete list of settings, please

FineBI學習系列之FineBI的Windows裏安裝後的一些配置事宜圖文

fine left text -a 得到 幹貨 圖文詳解 註冊 博客   不多說,直接上幹貨!   前期博客   第一步:需要點擊獲取激活碼     第二步:點擊註冊   註冊的

Git學習系列之如何正確且高效地將本地專案上傳到Github圖文

  不多說,直接上乾貨!   首先你需要一個Github賬號,所以還沒有的話先去註冊吧! https://github.com/   見   Git的安裝   見 1、進入Github首頁,點選New repository新建一個

對於maven創建spark項目的pom.xml配置文件圖文

mapr cati ID encoding pil tar error: 而是 releases  不多說,直接上幹貨! http://mvnrepository.com/   這裏,怎麽創建,見   這裏, 我重點說下spa

Maven建立web專案pom.xml最基礎的配置

配置問題 在Maven預設的配置檔案中,jdk的版本預設是1.5的,每次右鍵Update Project的過程中都會將jdk版本給我初始化成jdk 1.5的…..所以很不爽,以下是兩種配置的解決方案. 1.在pom.xml中的配置,這種配置是區域性的,僅對

關於使用maven建立web專案pom.xml中出現錯誤web.xml is missing and is set to true

錯誤提示: web.xml is missing and <failOnMissingWebXml> is set to true   意思就是,web專案需要一個web.xml檔案,而你通過maven的 建立是沒有web.xml,所以需要自己手動生成

maven整合ssm框架pom.xml配置檔案

首先複習下maven如何使用:maven詳解 ssm框架整合:整合案例 這裡直接貼出整合後的pom.xml配置檔案,僅供記錄和日後參考! <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http

使用Maven來管理專案-pom.xml詳細解讀

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/

利用maven專案建立一個web專案工程圖文

最近正開始學習java,老師佈置的第一個作業便是用maven專案建立一個web專案工程,不會,跑去百度了半天,跳出來的全是我們csdn的教程,但到建立資源包的時候就沒法跟著做了,因為顯示已存在,沒法跟著建立了,那些文章基本一樣的講法,都是預設能建立成功,很煩,於是又繼續找了半天,終於在部落格園找到了

Maven XML配置檔案最全

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLo

maven建立scala和java專案程式碼環境圖文Intellij IDEAUltimate版本、Intellij IDEACommunity版本和Scala IDEA for Eclipse皆適用博主推薦

  不多說,直接上乾貨! 為什麼要寫這篇部落格?   首先,對於spark專案,強烈建議搭建,用Intellij IDEA(Ultimate版本),如果你還有另所愛好嘗試Scala IDEA for Eclipse,有時間自己去玩玩。但最好追隨大流。   對於hadoop專案,強烈建議用

Scala IDEA for Eclipse裡用maven建立scala和java專案程式碼環境圖文

  這篇部落格   是在Scala IDEA for Eclipse裡手動建立scala程式碼編寫環境。   本博文,教大家,用maven來建立。   第一步:安裝scala外掛   因為,我win7下的scala環境是2.10.4    所以,選擇下載的

全網最詳細的hive-site.xml配置文件裏添加<name>hive.cli.print.header</name>和<name>hive.cli.print.current.db</name>前後的變化圖文

xml配置 note 個人博客 default 詳情 公眾 class 人生苦短 CA   不多說,直接上幹貨!     比如,你是從hive-default.xml.template,復制一份,改名為hive-site.xml     一

全網最詳細的hive-site.xml配置文件裏如何添加達到Hive與HBase的集成,即Hive通過這些參數去連接HBase圖文

out 開源精神 http FN image ava ext 必須 .cn   不多說,直接上幹貨!   一般,普通的情況是    <configuration>   <property>   

全網最詳細的Eclipse和MyEclipse裏對於Java web項目發布到Tomcat上運行成功的對比事宜【博主強烈推薦】【適合普通的還是Maven方式創建的】圖文

機器 安裝 同時 python 人生苦短 機器學習 dream png 改名     不多說,直接上幹貨!     首先,大家要明確,IDEA、Eclipse和MyEclipse等編輯器之間的新建和運行手法是不一樣的。

build Variants建立不同配置的app圖文

現象描述 開發一個app避免不了在多種環境下執行,比如開發環境、測試環境、正式環境,而根據不同環境要配置不同的變數,在以前,我都是通過註釋相關程式碼實現的,顯然這樣比較麻煩。 進入正題,那麼如何

【SSM-MyBatis框架】Mapper.xml配置檔案mybatis的核心

  Mapper.xml對映檔案中定義了操作資料庫的sql,每一個sql是一個statement,對映檔案是myBatis的核心。   1.輸入對映(ParameterType)     通過parameterType指定輸入引數的型別,型別可以是簡單型別,pojo,包裝型

FineBI學習系列之FineBI與Spark數據連接圖文

gpo 編碼轉換 nload -s div 語言 分享圖片 bre con 不多說,直接上幹貨!   這是來自FineBI官網提供的幫助文檔 http://help.finebi.com/http://help.finebi.com/doc-vie

Hue的全局配置文件hue.ini圖文

var mapping tcl href ron Oz httpfs restrict FQ Hue版本:hue-3.9.0-cdh5.5.4 需要編譯才能使用(聯網) 說給大家的話:大家電腦的配置好的話,一定要安裝cloudera manager。畢竟是一家人的。同時,