2. 程式人生 > >用maven自定義spark任務的archetype

用maven自定義spark任務的archetype

阿新 • • 發佈：2019-02-17
本來spark工程是推薦用sbt的，但是sbt因為某些原因在國內實在是太慢了，所以嘗試用eclipse+maven+scala外掛， 然而scala-tools提供的archetype預設使用scala2.7.0，讓人每次都去修改，然後又要去新增Hadoop、spark之類的依賴，有時候還出現包衝突 ，有時候一不小心忘了，編譯的時候還會出錯。   於是我決定生成一個自己用的archetype，以圖省事。 以下流程需要使用自己安裝的maven，使用eclipse自帶的maven會報錯。 可以從Window->Preferences->Maven->Installations裡面add自己maven的安裝目錄。
1、建立一個maven工程，最好用scala的archetype，因為在上面修改起來方便，隨便取個名字，比如spark-archetype 2、把自己想要的目錄下面隨便建個檔案，這一點是為了讓得到的archetype會自動生成資料夾，如果有不用建個檔案就保留資料夾的 方法，請務必聯絡我

3、編輯pom.xml，新增常用的依賴，比如spark、Hadoop、hbase，等等。  可以把version用變數的方式提到前面，方便修改。像這樣：

</pre><pre name="code" class="html"> <properties>
    <scala.version>2.10.4</scala.version>
    <spark.version>1.4.1</spark.version>
    <hadoop.version>2.2.0</hadoop.version>
  </properties>
然後在build裡面新增archetype外掛：
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-archetype-plugin</artifactId>
    <version>2.2</version>
</plugin>
完整的pom.xml檔案會放在文後。

4、右鍵該pom.xml檔案，run as->maven build...  輸入archetype:create-from-project，完成後，target下面會生成generated_sources資料夾，下面會有一個 名字叫archetype的工程。 此步驟也可以在cmd中cd到工程目錄下，使用 mvn archetype:create-from-project命令 5、右鍵4中生成的archetype工程下面的pom.xml檔案，即target/generated_sources/archetype/pom.xml檔案，run as->maven build...   輸入install，該archetype 就會安裝到本地的maven庫中，也可以在cmd中cd到archetype目錄下面，使用mvn install命令 然後通過file->new ->other...->Maven Project，後面選擇archetype的時候，catalog選擇Default Local，會出現剛才安裝的archetype：


附錄，完整的pom.xml 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.tcl</groupId>
  <artifactId>spark-archetype</artifactId>
  <version>0.0.3</version>
  <inceptionYear>2008</inceptionYear>
  <properties>
    <scala.version>2.10.4</scala.version>
    <spark.version>1.4.1</spark.version>
    <hadoop.version>2.2.0</hadoop.version>
  </properties>
 
  <repositories>
    <repository>
      <id>scala-tools.org</id>
      <name>Scala-Tools Maven2 Repository</name>
      <url>http://scala-tools.org/repo-releases</url>
    </repository>
  </repositories>
 
  <pluginRepositories>
    <pluginRepository>
      <id>scala-tools.org</id>
      <name>Scala-Tools Maven2 Repository</name>
      <url>http://scala-tools.org/repo-releases</url>
    </pluginRepository>
  </pluginRepositories>
 
  <dependencies>
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.4</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.specs</groupId>
      <artifactId>specs</artifactId>
      <version>1.2.5</version>
      <scope>test</scope>
    </dependency>
    <dependency>
    <groupId>org.apache.spark</groupId>
<span style="white-space:pre">	</span><artifactId>spark-core_2.10</artifactId>
<span style="white-space:pre">	</span><version>${spark.version}</version>
<span style="white-space:pre">	</span><exclusions>
<span style="white-space:pre">		</span><exclusion>
<span style="white-space:pre">			</span><artifactId>hadoop-client</artifactId>
<span style="white-space:pre">			</span><groupId>org.apache.hadoop</groupId>
<span style="white-space:pre">		</span></exclusion>
<span style="white-space:pre">		</span><exclusion>
<span style="white-space:pre">			</span><artifactId>hadoop-core</artifactId>
<span style="white-space:pre">			</span><groupId>org.apache.hadoop</groupId>
<span style="white-space:pre">		</span></exclusion>
<span style="white-space:pre">		</span><exclusion>
<span style="white-space:pre">			</span><artifactId>guava</artifactId>
<span style="white-space:pre">			</span><groupId>com.google.guava</groupId>
<span style="white-space:pre">		</span></exclusion>
<span style="white-space:pre">	</span></exclusions>
  </dependency>
  <dependency>
<span style="white-space:pre">	</span><groupId>org.apache.spark</groupId>
<span style="white-space:pre">	</span><artifactId>spark-sql_2.10</artifactId>
<span style="white-space:pre">	</span><version>${spark.version}</version>
  </dependency>
  <dependency>
<span style="white-space:pre">	</span><groupId>org.apache.spark</groupId>
<span style="white-space:pre">	</span><artifactId>spark-hive_2.10</artifactId>
<span style="white-space:pre">	</span><version>${spark.version}</version>
  </dependency>
  <dependency>
<span style="white-space:pre">	</span><groupId>org.apache.hadoop</groupId>
<span style="white-space:pre">	</span><artifactId>hadoop-client</artifactId>
<span style="white-space:pre">	</span><version>${hadoop.version}</version>
<span style="white-space:pre">	</span><exclusions>
<span style="white-space:pre">		</span><exclusion>
<span style="white-space:pre">			</span><artifactId>guava</artifactId>
<span style="white-space:pre">			</span><groupId>com.google.guava</groupId>
<span style="white-space:pre">		</span></exclusion>
<span style="white-space:pre">	</span></exclusions>
  </dependency>
  <dependency>
<span style="white-space:pre">	</span><groupId>org.apache.hadoop</groupId>
<span style="white-space:pre">	</span><artifactId>hadoop-common</artifactId>
<span style="white-space:pre">	</span><version>${hadoop.version}</version>
  <exclusions>
<span style="white-space:pre">	</span>  <exclusion>
<span style="white-space:pre">		</span><artifactId>guava</artifactId>
<span style="white-space:pre">		</span><groupId>com.google.guava</groupId>
<span style="white-space:pre">	</span></exclusion>
  </exclusions>
  </dependency>
  </dependencies>
 
  <build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>
    <plugins>
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
        <configuration>
          <scalaVersion>${scala.version}</scalaVersion>
          <args>
            <arg>-target:jvm-1.7</arg>
          </args>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-eclipse-plugin</artifactId>
        <configuration>
          <downloadSources>true</downloadSources>
          <buildcommands>
            <buildcommand>ch.epfl.lamp.sdt.core.scalabuilder</buildcommand>
          </buildcommands>
          <additionalProjectnatures>
            <projectnature>ch.epfl.lamp.sdt.core.scalanature</projectnature>
          </additionalProjectnatures>
          <classpathContainers>
            <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer>
            <classpathContainer>ch.epfl.lamp.sdt.launching.SCALA_CONTAINER</classpathContainer>
          </classpathContainers>
        </configuration>
      </plugin>
      <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-archetype-plugin</artifactId>
            <version>2.2</version>
        </plugin>
    </plugins>
  </build>
  <reporting>
    <plugins>
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <configuration>
          <scalaVersion>${scala.version}</scalaVersion>
        </configuration>
      </plugin>
    </plugins>
  </reporting>
</project>



相關推薦

用maven自定義spark任務的archetype

本來spark工程是推薦用sbt的，但是sbt因為某些原因在國內實在是太慢了，所以嘗試用eclipse+maven+scala外掛， 然而scala-tools提供的archetype預設使用scala2.7.0，讓人每次都去修改，然後又要去新增Hadoop、spark之類

Maven 自定義archeType

1. 什麼是archeType 我們在建立maven專案的時候，你會發現有這麼多的apache提供的模板。 或者使用 mvn archetype:generate命令來快速建立maven專案，也會有很多個選項，讓你選擇模板序號。那每個模板之間有什麼區別呢？ 每個模板裡

maven自定義Archetype

1、建立模板專案     如下 2、模板專案的pom.xml中新增archetype外掛 <plugin> <groupId>org.apache.maven.plugins</groupId> <

Maven自定義archetype生成專案骨架

通過 maven-archetype-plugin 外掛可以自定義符合我們自己需求的archetype。 1.什麼是Archetype Archetype是一個Maven專案模板工具包。通過Archetype我們可以快速搭建Maven專案。 常見的

Web用戶自定義控件

rop 參數 自定義樣式 nbsp alt 頭部 his 信息 文件 在新建項的時候,選擇Web用戶控件,可用來自定義自己的控件,做好後,直接拖到頁面即可使用自定義控件與WEB交互,需要在 自定義控件裏面 寫 屬性，如： public string CityID

maven自定義jar到本地倉庫

解決 第三方 包安裝 構建 bho ins 麻煩 第三方jar包 packaging Apache Maven為項目構建提供了絕佳的解決方案，其本地倉庫中緩存了遠程代理倉庫或中央倉庫中的資源，從而提高網絡資源使用效率，很好很強大！ 　　但是並非所有資源都可以根據GroupI

dedecms織夢圖集在首頁列表頁調用並且自定義輸出幾張

ecms 自己的 str col cnblogs 前臺 get add getname 效果 不改動官方核心文件，在自定義方法文件裏加入個方法來實現 打開 \include\extend.func.php 在最下面加入這個方法 function Getimgurls(

可復用的自定義Adapter

text logs 存儲 group bili this resource list extend public abstract class MyAdapter<T> extends BaseAdapter { private ArrayList&

數據庫中的異常(預定義,非預定義,用戶自定義)

out where output 數據 sel || 非預定義異常 code err DECLARE --預定義 異常信息 不聲明異常 v_empno emp.empno%TYPE :=&empno; v_sal emp.sal%TY

編寫可復用的自定義按鈕

可復用 定義 ongl aid music 編寫 自定義 按鈕 自定義按鈕 %E4%B8%80%E4%B8%AA%E5%B1%85%E5%BA%95%E6%98%BE%E7%A4%BA%E7%9A%84TaBHOsT http://music.baidu.com/songl

android用camera2api自定義相機

stream javaweb asp ner servle android avast andro 自定義 js%E5%9F%BA%E7%A1%80%E4%BD%9C%E7%94%A8%E5%9F%9F%E5%92%8C%E9%97%AD%E5%8C%85 javastr

用戶自定義變量

例如 col 定義變量 roo 找到 數值 div 加減乘除 .sh 變量名=變量值 warming: 1.變量名以字母和_開頭不以數字開頭。 2.變量名和變量值和賦值符號不留空格。 3假如賦值為帶有空格的字符串需要" 字 符 串" ""括起來。 變量調用： $變量名 例如

mysql用戶自定義變量

mysqld 客戶 自定義 變量 個數字 語句 如果 ber cte 　　可以先在用戶變量中保存值然後在以後引用它；這樣可以將值從一個語句傳遞到另一個語句。用戶變量與連接有關。也就是說，一個客戶端定義的變量不能被其它客戶端看到或使用。當客戶端退出時，該客戶端連接的所有變量將

POI 用戶自定義函數

rop console line let win critical further contain ror User Defined Functions How to Create and Use User Defined Functions Description Th

ajax用beforeSend自定義請求過程中客戶端事件，提高用戶體驗

函數 fun 直接 alert 完成後 and success ram reat 本文為博主原創，未經允許不得轉載： 在應用ajax的過程中，當我們再前臺提交請求的時候，如果服務端響應事件比較長，就會導致需要等很長時間在前臺才能接受到服務端返回的 響應結果，往

使用 PHP usort() 通過用戶自定義的比較函數對數組進行排序

ron echo 自定義 輸出 turn 函數 tro [1] func usort() <?php$array[0] = array(‘key_a‘ => ‘z‘, ‘key_b‘ => ‘c‘);$array[1] = array(‘key_a‘

win32 用戶自定義消息範圍

review 整數 for 一個 lac 常量 超過 使用 window WINDOWS自定義消息WM_USER和WM_APP WM_USER常量是Windows幫助應用程序定義私有窗口類裏的私有消息，通常使用WM_USER+一個整數值,但總值不能超過0x7FFF。 #de

destoon6.0批量調用所有自定義字段

order by 後臺數據庫 b- order 前綴 from func 自己 ext destoon 內容頁批量調用所有自定義字段的方法一個一個的在模板裏調，是不是太麻煩了，下面的方法就是批量循環出當前頻道所有不為空的自定義字段內容。api/extend.func.php

Spring Boot使用@Async實現異步調用：自定義線程池

tor color HR cal ace 核心 異步 cond cor 　　　前面的章節中，我們介紹了使用@Async註解來實現異步調用，但是，對於這些異步執行的控制是我們保障自身應用健康的基本技能。本文我們就來學習一下，如果通過自定義線程池的方式來控制異步調用的並發。 定

【zabbix系列教程】四、用戶自定義監控

系統用戶 新建 mct 運用 systemctl 一個 start shell 教程 本篇介紹運用zabbix進行自定義監控，以系統用戶登錄數量為例。 一、zabbix自定義語法 UserParameter=<key>,<shell command