---> 性能調優主要是將數據放入內存中操作

---> 使用例子：

// 從 Oracle 數據庫中讀取數據，生成 DataFrame
val oracleDF = spark.read.format("jdbc")
        .option("url", "jdbc:oracle:thin:@192.168.10.100:1521/orcl.example.com")
        .option("dbtable", "scott.emp")
        .option("user", "scott")
        .option("password", "tiger").load
        
// 將 DataFrame 註冊成表
oracleDF.registerTempTable("emp")

// 執行查詢，並通過 Web Console 監控執行的時間
spark.sql("select * from emp").show

// 將表進行緩存，並查詢兩次，通過 Web Console 監控執行的時間
spark.sqlContext.cacheTable("emp")

// 清空緩存
spark.sqlContext.cacheTable("emp")
spark.sqlContext.clearCache

==> 優化相關參數

---> spark.sql.inMemoryColumnarStorage.compressed

---- 默認值： true

---- Spark SQL 將會基於統計信息自動地為每一列選擇一種壓縮編碼方式

---> spark.sql.inMemoryColumnarStorage.batchSize

---- 默認值： 10000

---- 緩存批處理大小， 較大的批處理可以提高內存利用率和壓縮率，但同時也會帶來 OOM(Out Of Memory)的風險

---> spark.sql.files.maxPartitionBytes

---- 默認值： 128M

---- 讀取文件時單個分區可容納的最大字節數

---> spark.sql.files.openCostinBytes

---- 默認值： 4M

---- 打開文件的估算成本，按照同一時間能夠掃描的字節數來測量，當往一個分區寫入多個文件時會使用，高估相對較好，這樣小文件分區將會比大文件分區速度更快（優先調度）

---> spark.sql.autoBroadcastJoinThreshold

---- 默認值：10M

---- 用於配置一個表在執行 join 操作時能夠廣播給所有 worker 節點的最大字節大小，通地將這個值設置為-1可以禁用廣播

---- 註意：當前 數據統計僅支持已經運行了 ANALYZE TABLE <tablename> COMPUTE STATISTICS noscan 命令的 Hive Metastore 表

---> spark.sql.shuffle.partitions

---- 默認值： 200

---- 用於配置 join 或聚合操作混洗（shuffle）數據時使用的分區數

Spark SQL性能優化