1. 程式人生 > >編譯spark原始碼步驟

編譯spark原始碼步驟

為了閱讀spark的原始碼,我們需要對它先進行編譯,從而使Intelij能夠跳轉,從而方便閱讀。

1,先下載spark壓縮包

2,解壓

3,通過觀察,我們發現可以使用maven進行編譯。是maven工程。因為存在pom.xml檔案。

4,安裝maven,請自行百度。

     存在pom.xml就是一個模組。所以我們將用intellij檢視spark-core模組作為例子。也就是core資料夾包含的內容。

5,到core目錄下,使用mvn clean compile 命令。這樣mvn會自行從mvn中心庫去下載依賴的jar包。這個過程特別漫長。

  由於是國外的網站,所以很慢。mvn將下載的jar包放在本地倉庫,所以碰到下不動的jar包,你可以手動下載放過去。

  我整整花了一天才下載完。。。。

6,使用Intelij開啟該子模組。 File->open

7,選擇File-》settings  設定下maven 本地庫,是讓工程找到你下載的jar包的。


localrepository要選擇正確。我是在maven中將本地倉庫設定在d盤了。你在該目錄下,你可以發現你用mvn clean compile命令下載的jar包。


Import mvn projects automatically 要勾選,這樣依賴可以自動匯入。


匯入成功後就是現在這樣了,可以檢視spark的核心程式碼了。

想看其他spark其他模組類似。

主要是看pom.xml

如果想看所有,那就在頂級目錄那裡使用mvn compile  ,估計等一個月可以編譯完成。。。當然你網速好那就幸福了。。。