1.環境搭建 

基礎環境配置 jdk+idea+maven+scala2.11。以上工具安裝配置此處不再贅述。

2.原始碼匯入

官網下載spark原始碼後解壓到合適的專案目錄下，開啟idea，File->open 找到原始碼資料夾，選中spark-parent的pom檔案，確定-> open as a project。接下來就是漫長的依賴解析過程。

3.依賴解析完成後，得到一個漂亮的spark專案

4. 嘗試編譯。最近需要用到spark-sql相關的東西，我們先嚐試編譯一下spark-sql，在idea右側工具欄中找到maven project，找到對應的模組，點選展開lifecycle。

我們在想要的lifecycle上右擊，選擇create XXX，此處我選擇的是compile，然後會進入到引數編輯的介面，可以對mvn的引數進行設定。這裡我暫時使用預設設定。

完成後就會發現run configuration 下面多了一選項，我們可以雙擊執行或者右鍵進行編輯。

我們執行一下。最後得到如下輸出，則編譯成功

[info] Compile success at 2018-8-7 11:01:04 [4:35.895s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 04:56 min
[INFO] Finished at: 2018-08-07T11:01:04+08:00
[INFO] ------------------------------------------------------------------------

spark sql 有一個基礎的sql語法規則定義檔案，sqlBase.g4,如果要方便的檢視sql語法解析樹，需要一個外掛ANTLR V4

我們找到sqlBase檔案，在某個語法上右鍵，選擇Test Rule XXX，即可檢視某個語法的解析樹

關於環境搭建的基本暫時就到這裡吧。
---------------------
作者：彼岸楓雪非
來源：CSDN
原文：https://blog.csdn.net/u012543819/article/details/81455353
版權宣告：本文為博主原創文章，轉載請附上博文連結！