1. 程式人生 > >spark最新原始碼下載並匯入到開發環境下助推高質量程式碼(Scala IDEA for Eclipse和IntelliJ IDEA皆適用)(以spark2.2.0原始碼包為例)(圖文詳解)

spark最新原始碼下載並匯入到開發環境下助推高質量程式碼(Scala IDEA for Eclipse和IntelliJ IDEA皆適用)(以spark2.2.0原始碼包為例)(圖文詳解)

  不多說,直接上乾貨!

前言

    其實啊,無論你是初學者還是具備了有一定spark程式設計經驗,都需要對spark原始碼足夠重視起來。

  本人,肺腑之己見,想要成為大資料的大牛和頂尖專家,多結合原始碼和操練程式設計。

  好一段時間之前,寫過這篇部落格

  最近開始進行更新,希望能幫助到開發的你。

下載原始碼

  去github官網 下載

 

 

   spark最新原始碼下載並匯入到開發環境下助推高質量程式碼(Scala IDEA for Eclipse適用)(以spark2.2.0原始碼包為例)

  然後解壓縮為目錄,scalaIDE不支援tgz的檔案關聯,只支援jar,zip。

  那麼就 使用檔案目錄關聯就可以了,關聯spark2.0的目錄就可以了,很簡單。

   比如,我這裡放在D:\SoftWare

 

 

  我這裡為了區分,自己改名為spark-2.2.0-src

spark最新原始碼下載並匯入到開發環境下助推高質量程式碼(IntelliJ IDEA適用)(以spark2.2.0原始碼包為例)

     前期部落格,見

 

 方式1

 方式2

    如果是maven方式來匯入原始碼的話

點選進去,為什麼會報紅錯誤,maven沒改

 

 

 

       所以,個人建議,還是maven方式好啊

 方式3

 

 

 

    如果是Scala IDEA for Eclipse,則比如把spark-1.6.1

          經過解壓,我這裡特意改下名字,為spark-1.6.1-src

                注意:這不侷限於spark,比如Hadoop、Hive、HBase....等其他大資料元件的原始碼一樣的步驟,這裡不多贅述。當然其他人肯定也有其他的步驟來閱讀。

          比如,說在IDEA裡可以直接點選進去,maven會自動下載等,這個我不多評論。

相關推薦

spark最新原始碼下載匯入開發環境質量程式碼(Scala IDEA for EclipseIntelliJ IDEA適用spark2.2.0原始碼圖文

  不多說,直接上乾貨! 前言     其實啊,無論你是初學者還是具備了有一定spark程式設計經驗,都需要對spark原始碼足夠重視起來。   本人,肺腑之己見,想要成為大資料的大牛和頂尖專家,多結合原始碼和操練程式設計。   好一段時間之前,寫過這篇部落格

jumpserver-0.3.2 堡壘機環境搭建圖文

其他 install yum mage -128 req isa 解決 qq密碼 下載安裝包:https://github.com/jumpserver/jumpserver.git 解壓 三、執行快速安裝腳本 cd /opt/jumpserver/install pip

Windows環境執行hadoop命令出現Error: JAVA_HOME is incorrectly set Please update D:SoftWarehadoop-2.6.0confhadoop-env.cmd錯誤的解決辦法圖文

scala software ksum cal .com from 問題 jdk sun     不多說,直接上幹貨! 導讀   win下安裝hadoop  大家,別小看win下的安裝大數據組件和使用    玩過dubbo和disc

FineBI學習系列之FineBI與Spark數據連接圖文

gpo 編碼轉換 nload -s div 語言 分享圖片 bre con 不多說,直接上幹貨!   這是來自FineBI官網提供的幫助文檔 http://help.finebi.com/http://help.finebi.com/doc-vie

對於maven創建spark項目的pom.xml配置文件圖文

mapr cati ID encoding pil tar error: 而是 releases  不多說,直接上幹貨! http://mvnrepository.com/   這裏,怎麽創建,見   這裏, 我重點說下spa

用maven來創建scalajava項目代碼環境圖文Intellij IDEAUltimate版本Intellij IDEACommunity版本Scala IDEA for Eclipse適用博主推薦

搭建 ava XML .com 自動 ado ima 強烈 mapred 為什麽要寫這篇博客?   首先,對於spark項目,強烈建議搭建,用Intellij IDEA(Ultimate版本),如果你還有另所愛好嘗試Scala IDEA for Eclipse,有時間自己去

Tomcat使用環境配置圖文

一.下載Tomacat  Tomcat 8.5 下載 .建議下載 zip 檔案  二.環境配置 1.前提條件:java環境配置    Java 安裝+環境配置(圖文詳解) 2.修改系統變數 ,新增 CATAP

Java 安裝+環境配置圖文

                                       Java 安裝篇

五款實用免費的Python機器學習整合開發環境5 free Python IDE for Machine Learning圖文

前言   整合開發環境(IDE)是提供給程式設計師和開發者的一種基本應用,用來編寫和測試軟體。一般而言,IDE 由一個編輯器,一個編譯器(或稱之為直譯器),和一個偵錯程式組成,通常能夠通過 GUI(圖形介面)來操作。   根據維基百科的描述:“Python 是一種廣泛使用的高階的、通用的、

用maven來建立scalajava專案程式碼環境圖文Intellij IDEAUltimate版本Intellij IDEACommunity版本Scala IDEA for Eclipse適用博主推薦

  不多說,直接上乾貨! 為什麼要寫這篇部落格?   首先,對於spark專案,強烈建議搭建,用Intellij IDEA(Ultimate版本),如果你還有另所愛好嘗試Scala IDEA for Eclipse,有時間自己去玩玩。但最好追隨大流。   對於hadoop專案,強烈建議用

Scala IDEA for Eclipse裡用maven來建立scalajava專案程式碼環境圖文

  這篇部落格   是在Scala IDEA for Eclipse裡手動建立scala程式碼編寫環境。   本博文,教大家,用maven來建立。   第一步:安裝scala外掛   因為,我win7下的scala環境是2.10.4    所以,選擇下載的

對於maven建立spark專案的pom.xml配置檔案圖文

  不多說,直接上乾貨! http://mvnrepository.com/   這裡,怎麼建立,見   這裡, 我重點說下spark專案,因為,對於hadoop這樣的,我已經寫了大量部落格了。    比如,我目前用得較多的spark-m

jumpserver 堡壘機環境搭建圖文

Jumpserver 是一款由python編寫開源的跳板機(堡壘機)系統,實現了跳板機應有的功能。基於ssh協議來管理,客戶端無需安裝agent。 特點: 完全開源,GPL授權 Python編寫,容易再次開發 實現了跳板機基本功能,認證、授權、審計

Wireshark安裝使用及報文分析圖文

p s 技術 cap cut .net 信息 display 過程 數據 Wireshark是世界上最流行的網絡分析工具。這個強大的工具可以捕捉網絡中的數據,並為用戶提供關於網絡和上層協議的各種信息。與很多其他網絡工具一樣,Wireshark也使用pcapnetwork l

CSS屬性:背景屬性圖文

顏色 開發 github上 屬性。 一起 有用 class -a 設計 本文最初發表於博客園,並在GitHub上持續更新前端的系列文章。歡迎在GitHub上關註我,一起入門和進階前端。 以下是正文。 background系列屬性 常見背景屬性 CSS樣式中,常見的背

Microsoft Power BI Desktop概念學習系列之Microsoft Power BI Desktop的下載安裝圖文

-c gpo mic sof mage pos microsoft body 技術分享   不多說,直接上幹貨!   官網 https://powerbi.microsoft.com/zh-cn/downloads/

Fiddler Web Debugger是什麽?圖文

詳情 頁面 web客戶端 機器 代理人 博客 有用 style 攻擊     不多說,直接上幹貨! 1、為什麽是Fiddler?   抓包工具有很多,小到最常用的web調試工具firebug,達到通用的強大的抓包工具

Fiddler Web Debugger的下載安裝圖文

下載安裝 get html lan href bug pro 人生苦短 所有       不多說,直接上幹貨!   Fiddler是一個http協議調試代理工具,它能夠記錄客戶端和服務器之間的所有 HTTP請求,可以針對特定的HTTP請

全網最詳細的跑python2.7時出現from mysql import connector ImportError: No module named mysql的問題解決辦法圖文

領域 conda load 機器學習 同時 精華 center mod con     不多說,直接上幹貨! C:\Users\lenovo>pip install mysql-connector-python-rf==2.1.3 Col

SPSS學習系列之SPSS Modeler怎麽修改默認的內存大小圖文

隨著 大數據 com 微信公眾 深度 內存配置 圖文 font png     不多說,直接上幹貨!  問題來源:         如果你的電腦內存配置比較低的話,會隨著數據量增加(尤其是大數據),帶不起的情況很有可能發生,會出現一些內存報