機器學習庫（MLlib）指南

MLlib是Spark的機器學習（ML）庫。其目標是使實際的機器學習可擴充套件和容易。在高層次上，它提供瞭如下工具：

• ML演算法：通用學習演算法，如分類，迴歸，聚類和協同過濾

• 特徵提取，特徵提取，轉換，降維和選擇

• 管道：用於構建，評估和調整ML管道的工具

• 永續性：儲存和載入演算法，模型和管道

• 實用程式：線性代數，統計，資料處理等

公告：基於DataFrame的API是主要的API

MLlib基於RDD的API現在處於維護模式。

從Spark 2.0開始，包中的基於RDD的API spark.mllib已進入維護模式。Spark的主要機器學習API現在是包中的基於

有什麼影響？

• MLlib將仍然支援基於RDD的API spark.mllib並修復錯誤。

• MLlib不會將新功能新增到基於RDD的API。

• 在Spark 2.x版本中，MLlib將向基於DataFrame的API新增功能，以便與基於RDD的API達成功能對等。

• 達到功能對等（大致估計為Spark 2.2）後，基於RDD的API將被棄用。

• 基於RDD的API預計將在Spark 3.0中被刪除。

為什麼MLlib切換到基於DataFrame的API？

• DataFrames提供比RDD更友好的API。DataFrame的許多優點包括Spark資料來源，SQL / DataFrame查詢，Tungsten和Catalyst優化以及跨語言的統一API。

• MLlib的基於DataFrame的API提供跨ML演算法和跨多種語言的統一API。

• 資料框便於實際的ML管線，特別是功能轉換。

什麼是“Spark ML”？

• “Spark ML”不是一個正式的名字，偶爾用於指代基於MLlib DataFrame的API。這主要是由於org.apache.spark.ml基於DataFrame的API所使用的Scala包名以及我們最初用來強調管道概念的“Spark ML Pipelines”術語。

MLlib是否被棄用？

• 編號MLlib包括基於RDD的API和基於DataFrame的API。基於RDD的API現在處於維護模式。

依賴

MLlib使用線性代數包

由於執行時專有二進位制檔案的授權問題，netlib-java預設情況下，我們不包含本地代理。要配置netlib-java/ Breeze以使用系統優化的二進位制檔案，請包括 com.github.fommil.netlib:all:1.1.2（或者構建Spark -Pnetlib-lgpl）作為專案的依賴項，並閱讀netlib-java文件以獲取平臺的其他安裝說明。

要在Python中使用MLlib，您將需要NumPy 1.4或更高版本。

推薦閱讀：

kafka，hbase，spark，Flink等入門到深入源碼，spark機器學習，大資料安全，大資料運維，請關注浪尖公眾號，看高質量文章。

更多文章，敬請期待