Apache Spark 2.3.0是2.x系列中的第四個版本。此版本增加了對結構化流中的連續處理以及全新的Kubernetes Scheduler後端的支援。其他主要更新包括新的DataSource和結構化Streaming v2 API，以及一些PySpark效能增強。此外，此版本繼續關注可用性，穩定性和拋光，同時解決了大約1400問題。

要下載Apache Spark 2.3.0，請訪問下載頁面。你可以諮詢JIRA的詳細變化。我們在這裡策劃了一個高層次的變更清單，按主要模組分組。

Core，PySpark和Spark SQL

• 主要特點
  • Spark on Kubernetes：[ SPARK-18278
     ]一個新的kubernetes排程程式後端，支援將原生作業提交到由kubernetes管理的叢集。請注意，此支援目前是實驗性的，並且應該預期配置，容器影象和入口點的行為變化。
  • Vectorized ORC Reader：[ SPARK-16060 ]增加對新ORC讀取器的支援，通過向量化（2-5x）顯著提高ORC掃描吞吐量。為了啟用讀者，使用者可以設定spark.sql.orc.impl為native。
  • Spark historyServer V2：[ SPARK-18085 ]一個新的Spark歷史記錄伺服器（SHS）後端，通過更高效的事件儲存機制為大規模應用程式提供更好的可伸縮性。
  • Datasource API V2：[ SPARK-15689 ] [ SPARK-22386 ]用於在Spark中插入新資料來源的實驗性API。新的API試圖解決V1 API的幾個限制，旨在促進開發高效能，易於維護和可擴充套件的外部資料來源。請注意，此API仍處於積極的發展階段，應該預料會發生重大變化。
  • PySpark效能增強：[ SPARK-22216 ] [ SPARK-21187 ]通過快速資料序列化和向量化執行，python效能和互操作性顯著提高。

Structured Streaming

• 連續處理
  • 一種新的執行引擎，可以通過更改僅一行使用者程式碼，以亞毫秒端到端延遲執行流式查詢。要了解更多資訊，請參閱程式設計指南。
• 流 - 流聯接
  • 能夠加入兩個資料流，緩衝行直到匹配的元組到達另一個流。可以使用謂詞對事件時間列來限制需要保留的狀態量。
• 流媒體API V2
  • 用於插入新源和接收器的實驗性API，適用於批處理，微批處理和連續執行。請注意，此API仍處於積極的發展階段，應該有預期的改變。

MLlib

• 強調
  • ML預測現在適用於結構化流式處理，使用更新的API。下面的細節。
• 新/改進的API
  • [ SPARK-21866 ]：將影象讀入DataFrame（Scala / Java / Python）的內建支援
  • [ SPARK-19634 ]：DataFrame用於描述向量列（Scala / Java）的摘要統計資訊
  • [ SPARK-14516 ]：ClusteringEvaluator用於調整聚類演算法，支援餘弦剪影和平方歐幾里德輪廓度量（Scala / Java / Python）
  • [ SPARK-3181 ]：具有Huber損失的強大線性迴歸（Scala / Java / Python）
  • [ SPARK-13​​969 ]：FeatureHasher變壓器（Scala / Java / Python）
  • 多個特徵轉換器的多列支援：
    • [ SPARK-13​​030 ]：（OneHotEncoderEstimatorScala / Java / Python）
    • [ SPARK-22397 ]：（QuantileDiscretizerScala / Java）
    • [ SPARK-20542 ]：（BucketizerScala / Java / Python）
• 新功能
  • [ SPARK-21087 ]：CrossValidator並且TrainValidationSplit可以在裝配時收集所有模型（Scala / Java）。這允許您檢查或儲存所有擬合的模型。
  • [ SPARK-19357 ]：元演算法CrossValidator，TrainValidationSplit, OneVsRest支援並行性引數，用於並行擬合多個子模型Spark作業
  • [ SPARK-17139 ]：多項邏輯迴歸模型總結（Scala / Java / Python）
  • [ SPARK-20199 ]：將featureSubsetStrategyParam 新增到GBTClassifier和GBTRegressor。使用這個子樣本特徵可以顯著提高訓練速度; 這個選項一直是一個關鍵的力量xgboost。
• 其他顯著變化
  • [ SPARK-22156 ] Word2Vec通過num迭代固定學習速率縮放。新的學習速率被設定為匹配原始的Word2VecC程式碼，並應該從培訓中獲得更好的結果。
  • [ SPARK-22289 ]新增JSON對矩陣引數的支援（修正了LogisticRegressionModel使用係數邊界時ML永續性的錯誤。）
  • [ SPARK-22700 ] Bucketizer.transform不正確地刪除包含的行NaN。當Param handleInvalid設定為“跳過”時，Bucketizer如果另一個（不相關的）列有NaN值，則會在輸入列中刪除具有有效值的行。
  • [ SPARK-22446 ]催化劑優化器StringIndexerModel在handleInvalid被設定為“錯誤”時有時會引發不正確的“不可見標籤”異常。由於謂詞下推，過濾資料可能會發生這種情況，即使已經過濾了無效行來自輸入資料集。
  • [ SPARK-21681 ]修復了多項邏輯迴歸中的邊緣病例錯誤，當某些特徵具有零方差時導致係數不正確。
  • 主要優化：
    • [ SPARK-22707 ]降低了記憶體消耗CrossValidator
    • [ SPARK-22949 ]降低了記憶體消耗TrainValidationSplit
    • [ SPARK-21690 ] Imputer應該對資料進行一次遍歷
    • [ SPARK-14371 ] OnlineLDAOptimizer避免為每個小批量的驅動程式收集統計資料。

SparkR

SparkR在2.3.0版本中的主要重點是提高UDF的穩定性並在現有的API上新增幾個新的SparkR包裝器：

GraphX

• 優化
  • [ SPARK-5484 ] Pregel現在定期檢查點以避免StackOverflowErrors

Deprecations

• Python
  • [ SPARK-23122 ]棄用PySpark register*中SQLContext和UDF中的UDFCatalog
• MLlib
  • [ SPARK-13​​030 ] OneHotEncoder已被棄用，將在3.0中刪除。它已被新的取代OneHotEncoderEstimator。請注意，OneHotEncoderEstimator它將被重新命名為OneHotEncoder3.0（但OneHotEncoderEstimator將作為別名保留）。

Changes of behavior

• SparkSQL
  • [ SPARK-22036 ]：預設情況下，小數點之間的算術運算返回一個四捨五入的值，如果無法確切表示（而不是NULL在先前版本中返回）
  • [ SPARK-22937 ]：當所有輸入都是二進位制時，SQL elt()以二進位制形式返回輸出。否則，它以字串形式返回。在之前的版本中，儘管有輸入型別，它總是以字串的形式返回。
  • [ SPARK-22895 ]：在第一個非確定性謂詞之後的Join / Filter的確定性謂詞如果可能的話，也會向下/通過子操作符。在之前的版本中，這些過濾器不適用於謂詞下推。
  • [ SPARK-22771 ]：當所有輸入都是二進位制時，functions.concat()將輸出作為二進位制返回。否則，它以字串形式返回。在之前的版本中，儘管有輸入型別，它總是以字串的形式返回。
  • [ SPARK-22489 ]：當任何一個連線端都可以廣播時，我們更喜歡廣播在廣播提示中明確指定的表。
  • [ SPARK-22165 ]：分割槽列推斷先前為不同的推斷型別找到了不正確的通用型別，例如，以前它以double型別作為double型別和date型別的通用型別結束。現在它找到了這種衝突的正確型別。有關詳細資訊，請參閱遷移指南。
  • [ SPARK-22100 ]：此percentile_approx功能以前接受過numeric型別輸入和輸出double型別的結果。現在它支援date型別，timestamp型別和numeric型別作為輸入型別。結果型別也會更改為與輸入型別相同，這對於百分位數更合理。
  • [ SPARK-21610 ]：當被引用列僅包含內部損壞記錄列（_corrupt_record預設命名）時，不允許來自原始JSON / CSV檔案的查詢。相反，您可以快取或儲存解析的結果，然後傳送相同的查詢。
  • [ SPARK-23421 ]：自Spark 2.2.1和2.3.0以來，當資料來源表的資料列中存在分割槽模式和資料模式時，總是在執行時推斷模式。推斷的模式沒有分割槽列。讀取表格時，Spark尊重這些重疊列的分割槽值，而不是儲存在資料來源檔案中的值。在2.2.0和2.1.x版本中，推斷的模式是分割槽的，但表的資料對使用者是不可見的（即結果集為空）。
• PySpark
  • [ SPARK-19732 ]：na.fill()或者fillna也接受布林值並用布林值替換空值。在之前的Spark版本中，PySpark忽略它並返回原始資料集/資料幀。
  • [ SPARK-22395 ]：0.19.2使用Pandas相關功能（例如toPandas，createDataFrame來自Pandas DataFrame等）需要Pandas 或upper 。
  • [ SPARK-22395 ]：Pandas相關功能的時間戳值行為已更改為尊重會話時區，在先前的版本中會忽略該時區。
  • [ SPARK-23328 ]：當不是字典時，df.replace不允許省略。以前，在其他情況下可以省略，預設情況下，這是違反直覺和容易出錯的。valueto_replacevalueNone
• MLlib
  • 打破API變更：邏輯迴歸模型摘要的類和特徵層次結構已更改為更乾淨，並更好地適應新增多類彙總。對於將使用者程式碼轉換LogisticRegressionTrainingSummary為a的使用者程式碼，這是一次重大更改BinaryLogisticRegressionTrainingSummary。使用者應該改用這個model.binarySummary方法。有關更多詳細資訊，請參見[ SPARK-17139 ]（請注意，這是一個@ExperimentalAPI）。這不會影響Python摘要方法，該方法對於多項和二進位制的情況都能正常工作。
  • [ SPARK-21806 ]：BinaryClassificationMetrics.pr()第一點（0.0，1.0）具有誤導性，並已被（0.0，p）代替，其中精度p與最低召回點相匹配。
  • [ SPARK-16957 ]：決策樹現在在選擇拆分值時使用加權中點。這可能會改變模型訓練的結果。
  • [ SPARK-14657 ]：RFormula現在，沒有攔截，在編碼字串術語時輸出引用類別，以匹配原生R行為。這可能會改變模型訓練的結果。
  • [ SPARK-21027 ]：預設使用的並行OneVsRest度現在設定為1（即序列）。在2.2及更早版本中，並行度被設定為Scala中預設的執行緒池大小。這可能會改變效能。
  • [ SPARK-21523 ]：升級微風0.13.2。這包括強烈的Wolfe線搜尋L-BFGS的重要錯誤修復。
  • [ SPARK-15526 ]：JPMML依賴關係現在用陰影表示。
  • 有關修復錯誤導致的行為更改，請參閱“錯誤修復”部分。

Known Issues

•  [ SPARK-23523 ] [SQL]由規則導致的結果不正確OptimizeMetadataOnlyQuery