1. 程式人生 > >Mac上配置maven+eclipse+spark開發環境

Mac上配置maven+eclipse+spark開發環境

1、安裝jdk

2、下載scala-ide。官網:http://scala-ide.org

3、安裝maven

4、在eclipse中,配置maven的安裝了路徑。偏好設定--->maven--->installpath

5、修改maven的映象檔案,即setting.txt中的mirror。具體修改為如下:

  <mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf> </mirror> <!-- mirror | Specifies a repository mirror site to use instead of a given repository. The repository that | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
| <mirror> <id>mirrorId</id> <mirrorOf>repositoryId</mirrorOf> <name>Human Readable Name for this Mirror.</name> <url>http://my.repository.com/repo/path</url> </mirror> --> </mirrors>

6、修改pom.xml檔案中的內容:

(1)需要修改scala的版本

(2)需要新增spark依賴包

此時,儲存就會從上面設定的映象當中下載對應的jar包。若沒有設定映象的話,由於國外的有些包需要FQ,並且每次修改需要記載很長的時間。導致無法執行或者執行失敗。

7、修改工程屬性中對應的scala compiler版本。

到此基本上配置已經結束,如果通過執行:mvn clean package ;然後通過spark-submit提交執行的話,應該是不會抱錯。但是本地執行的話,還是會報錯,具體錯誤如下:

 Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path

這個錯誤,通過Google和百度,找到一個帖子解決了這個辦法:對應的網址:http://blog.csdn.net/stark_summer/article/details/47361603

通俗講來,解決辦法是:

8、解決7的問題。

(1)進入maven下載源的目錄下:

  cd  /Users/jeffery/.m2/repository/org/xerial/snappy/snappy-java/1.0.4.1

(2)解壓snappy-java-1.0.4.1.jar檔案

  unzip snappy-java-1.0.4.1.jar

(3)進入目錄:org/xerial/snappy/native/Mac/x86_64/

  cd org/xerial/snappy/native/Mac/x86_64/

(4)複製檔案:

  cp libsnappyjava.jnilib libsnappyjava.dylib

(5)返回到解壓前的目錄下,並進行壓縮

  先備份。 cp snappy-java-1.0.4.1.jar snappy-java-1.0.4.1.jar.old 

      後壓縮成圓檔名:jar cf snappy-java-1.0.4.1.jar org

ok了。

相關推薦

Mac配置maven+eclipse+spark開發環境

1、安裝jdk 2、下載scala-ide。官網:http://scala-ide.org 3、安裝maven 4、在eclipse中,配置maven的安裝了路徑。偏好設定--->maven--->installpath 5、修改maven的映象檔案,即sett

mac 單機 搭建 eclipse spark開發環境

在 mac初步搭建eclipse開發spark 程式環境,並以wordcount為例,分別使用scala和java語言進行開發 軟體準備: 1.The Scala IDE (based on Eclipse) scala-SDK-4.4.1-vfinal-2.11

maven配置-分別在windows和mac配置maven環境

maven是一個工具,主要是用來對Java專案進行構建(編譯、測試、打包等)和依賴管理,它能夠用簡單的命令來構建專案,還能通過配置的方式自動下載專案依賴的jar包。 本篇文章跟大家分享如何在windows上和在mac上配置maven。 下載maven

在Fedora18配置個人的Hadoop開發環境

eno col permsize git arch mapred cin gcc dex 在Fedora18上配置個人的Hadoop開發環境 1. 背景 文章中講述了類似於“personalcondor”的一種

快速配置Linux + Eclipse + wxWidgets開發環境

本文為原創,如需轉載,請註明作者和出處,謝謝!     wxWidgets是一個跨平臺的C++開發庫,與MFC類似。不過配置起來比較麻煩,如果在Linux下使用Eclipse來開發基於wxWidgets的應用程式需要進行一系列的配置,如設定include路徑、libra

IDEA下使用Maven搭建spark開發環境WordCount示例

一、建立Maven專案 二、新增相關依賴(配置pom.xml檔案) <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"

Mac電腦配置IOS React Native開發環境配置筆記

React Native(以下簡稱RN)的開發環境配置直接參考官方文件即可完成,不過對小白來說東西有點多,有些名詞不是很好理解,這裡就官方的安裝文件稍微展開說一下。 中文版配置說明:不錯的中文說明。官方英文版配置說明:英文不錯的小夥伴可以直接看英文官方的 環境需求:1.Xcode 7.0以上版本 React

react-native —— 在Mac搭建React Native Android開發環境

需要:JDK,Android SDK,Node.js 1.安裝JDK 2.安裝Android SDK 雖然現在谷歌推薦使用Android Studio,但是我還是選擇了單獨安裝Android SDK。 這是一個比較全的目錄,上面的連結是官方的,有wall,用下面的基本都是網盤資源,速度

Mac搭建React Native Android開發環境並執行

在執行命令 需要使用vpn,才能安裝成功,國內網路受限。 nvm install node 最後執行命令 npm install -g react-native-cli 執行命令 可以建立工程 這個過程是比較慢 react-nati

Android環境配置Eclipse開發環境下載)

Android環境配置 前期準備 Android環境的Eclipse: 網站連結:https://www.runoob.com/w3cnote/android-tutorial-eclipse-adt-sdk-app.html SDK的CPU映象資源: 網站連結:https://www.androiddev

學習筆記:從0開始學習大資料-13. Eclipse+Scala+Maven Spark開發環境配置

上節配置好了spark執行環境,可以通過 spark-shell  在scala語言介面互動執行spark命令 可以參照( https://blog.csdn.net/u010285974/article/details/81840413   Spark-shell執行計算)

eclipse配置spark開發環境

前言   無論Windows 或Linux 作業系統,構建Spark 開發環境的思路一致,基於Eclipse 或Idea,通過Java、Scala 或Python 語言進行開發。安裝之前需要提前準備好JDK、Scala 或Python 環境,然後在Eclipse 中下載安裝Scala 或Python 外掛(

Mac配置EclipseMaven的預設JDK版本

1、通過home brew命令:brew install maven 可安裝maven。安裝完後,通過mvn –v檢視maven資訊:2、編輯/usr/local/Cellar/maven/3.5.0/libexec/conf/setting.xml,增加如下內容:<p

MAC搭建eclipse+android開發環境

下載eclipse 找到“Eclipse IDE for java Developers”,選擇“Mac OS X(Cocoa)” 根據你的mac處理器,去選在是下載64bit或32bit, 這裡我的Pro是i5處理器支援64位,點選右邊的“Mac OS X 64bit”。(如何檢視MAC處理器多少

eclipse配置hadoop2.7.2開發環境

amt res project star ast text package fin super   先安裝並啟動hadoop,怎麽弄見上文http://www.cnblogs.com/wuxun1997/p/6847950.html。這裏說下怎麽設置IDE來開發hadoop

Mac OSX 配置Appium+Android自動化測試環境

crm get exp 一個 shang time 點擊 host 設置代理 前提準備 開始正文之前,你需要準備好一些基本條件: 安裝好Mac OSX 操作系統的設備 能夠訪問中國局域網以外資源的方法(沒有也行,但很痛苦) 已經安裝好 homebrew 已經安裝好 Pyt

計算機圖形學-mac系統下Xcode中OpenGL開發環境配置

配置步驟 ctf 註意 posit 圖片 pen ret open 方式 mac系統下Xcode中OpenGL開發環境配置。 這學期有計算機圖形學的課程,需要用到OpenGL,最近著手開始配置開發環境了,老師上課給的安裝包都是基於windows系統的。網上也是window

安裝eclipsemaven等JAVA開發環境

cli logs htm work 官方 mave img 安裝eclipse dad 一 下載JAVA,這是官方JAVA8的下載地址,包含了JDK和JRE: http://www.oracle.com/technetwork/java/javase/downloads/

1.2 Mac配置maven環境變量

bin 分享 avi spa classpath 下載jdk 按鈕 .com os x 1、下載JDK http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

【甘道夫】Eclipse+Maven搭建HBase開發環境及HBaseDAO代碼演示樣例

into disable ner except depend strong condition lena esc 環境: Win764bit Eclipse Version: