2. 程式人生 > >Spark 決策樹--回歸模型

Spark 決策樹--回歸模型

阿新 • • 發佈：2017-11-06
pipe sele nal evaluate 回歸 textfile style mode ssi 

package Spark_MLlib

import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.evaluation.RegressionEvaluator
import org.apache.spark.ml.feature.{IndexToString, StringIndexer, VectorIndexer}
import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.linalg.{Vector, Vectors}
import org.apache.spark.ml.regression.{DecisionTreeRegressionModel, DecisionTreeRegressor}

 

case class data_scheam(features:Vector,label:String)
object 決策樹__回歸模型 {
      val spark=SparkSession.builder().master("local").getOrCreate()
      import spark.implicits._
  def main(args: Array[String]): Unit = {
     val data=spark.sparkContext.textFile("file:///home/soyo/桌面/spark編程測試數據/soyo2.txt")
                .map(_.split(
 
",")).map(x=>data_schema(Vectors.dense(x(0).toDouble,x(1).toDouble,x(2).toDouble,x(3).toDouble),x(4))).toDF()
       val labelIndexer=new StringIndexer().setInputCol("label").setOutputCol("indexedLabel").fit(data)
       val featuresIndexer=new VectorIndexer().setInputCol("features").setOutputCol("
 
indexedFeatures").setMaxCategories(4).fit(data)
      val labelCoverter=new IndexToString().setInputCol("prediction").setOutputCol("predictedLabel").setLabels(labelIndexer.labels)
      val Array(trainData,testData)=data.randomSplit(Array(0.7,0.3))
    //決策樹回歸模型構造設置
      val dtRegressor=new DecisionTreeRegressor().setLabelCol("indexedLabel").setFeaturesCol("indexedFeatures")
    //構造機器學習工作流
      val pipelineRegressor=new Pipeline().setStages(Array(labelIndexer,featuresIndexer,dtRegressor,labelCoverter))
    //訓練決策樹回歸模型
      val modelRegressor=pipelineRegressor.fit(trainData)
     //進行預測
      val prediction=modelRegressor.transform(testData)
      prediction.show(150)
    //評估決策樹回歸模型
      val evaluatorRegressor=new RegressionEvaluator().setLabelCol("indexedLabel").setPredictionCol("prediction").setMetricName("rmse") //setMetricName:設置決定你的度量標準是均方根誤差還是均方誤差等,值可以為：rmse,mse,r2,mae
   val Root_Mean_Squared_Error=evaluatorRegressor.evaluate(prediction)
    println("均方根誤差為: "+Root_Mean_Squared_Error)

    val treeModelRegressor=modelRegressor.stages(2).asInstanceOf[DecisionTreeRegressionModel]
    val schema_decisionTree=treeModelRegressor.toDebugString
    println("決策樹分類模型的結構為: "+schema_decisionTree)
  }
}
Spark 源碼：關於setMetricName("")
@Since("2.0.0")
  override def evaluate(dataset: Dataset[_]): Double = {
    val schema = dataset.schema
    SchemaUtils.checkColumnTypes(schema, $(predictionCol), Seq(DoubleType, FloatType))
    SchemaUtils.checkNumericType(schema, $(labelCol))

    val predictionAndLabels = dataset
      .select(col($(predictionCol)).cast(DoubleType), col($(labelCol)).cast(DoubleType))
      .rdd
      .map { case Row(prediction: Double, label: Double) => (prediction, label) }
    val metrics = new RegressionMetrics(predictionAndLabels)
    val metric = $(metricName) match {
      case "rmse" => metrics.rootMeanSquaredError
      case "mse" => metrics.meanSquaredError
      case "r2" => metrics.r2
      case "mae" => metrics.meanAbsoluteError
    }
    metric
}

結果：

+-----------------+------+------------+-----------------+----------+--------------+
| features| label|indexedLabel| indexedFeatures|prediction|predictedLabel|
+-----------------+------+------------+-----------------+----------+--------------+
|[4.6,3.1,1.5,0.2]|hadoop| 1.0|[4.6,3.1,1.5,0.2]| 1.0| hadoop|
|[4.6,3.4,1.4,0.3]|hadoop| 1.0|[4.6,3.4,1.4,0.3]| 1.0| hadoop|
|[4.7,3.2,1.3,0.2]|hadoop| 1.0|[4.7,3.2,1.3,0.2]| 1.0| hadoop|
|[4.8,3.0,1.4,0.1]|hadoop| 1.0|[4.8,3.0,1.4,0.1]| 1.0| hadoop|
|[5.1,3.3,1.7,0.5]|hadoop| 1.0|[5.1,3.3,1.7,0.5]| 1.0| hadoop|
|[5.1,3.7,1.5,0.4]|hadoop| 1.0|[5.1,3.7,1.5,0.4]| 1.0| hadoop|
|[5.4,3.9,1.3,0.4]|hadoop| 1.0|[5.4,3.9,1.3,0.4]| 1.0| hadoop|
|[5.5,2.3,4.0,1.3]| spark| 0.0|[5.5,2.3,4.0,1.3]| 0.0| spark|
|[5.5,3.5,1.3,0.2]|hadoop| 1.0|[5.5,3.5,1.3,0.2]| 1.0| hadoop|
|[5.6,2.7,4.2,1.3]| spark| 0.0|[5.6,2.7,4.2,1.3]| 0.0| spark|
|[5.6,3.0,4.1,1.3]| spark| 0.0|[5.6,3.0,4.1,1.3]| 0.0| spark|
|[5.6,3.0,4.5,1.5]| spark| 0.0|[5.6,3.0,4.5,1.5]| 0.0| spark|
|[5.7,2.6,3.5,1.0]| spark| 0.0|[5.7,2.6,3.5,1.0]| 0.0| spark|
|[5.7,4.4,1.5,0.4]|hadoop| 1.0|[5.7,4.4,1.5,0.4]| 1.0| hadoop|
|[5.8,2.7,3.9,1.2]| spark| 0.0|[5.8,2.7,3.9,1.2]| 0.0| spark|
|[5.8,2.7,4.1,1.0]| spark| 0.0|[5.8,2.7,4.1,1.0]| 0.0| spark|
|[5.8,2.8,5.1,2.4]| Scala| 2.0|[5.8,2.8,5.1,2.4]| 2.0| Scala|
|[5.8,4.0,1.2,0.2]|hadoop| 1.0|[5.8,4.0,1.2,0.2]| 1.0| hadoop|
|[5.9,3.0,4.2,1.5]| spark| 0.0|[5.9,3.0,4.2,1.5]| 0.0| spark|
|[5.9,3.0,5.1,1.8]| Scala| 2.0|[5.9,3.0,5.1,1.8]| 2.0| Scala|
|[5.9,3.2,4.8,1.8]| spark| 0.0|[5.9,3.2,4.8,1.8]| 2.0| Scala|
|[6.1,2.6,5.6,1.4]| Scala| 2.0|[6.1,2.6,5.6,1.4]| 2.0| Scala|
|[6.1,2.8,4.0,1.3]| spark| 0.0|[6.1,2.8,4.0,1.3]| 0.0| spark|
|[6.3,2.9,5.6,1.8]| Scala| 2.0|[6.3,2.9,5.6,1.8]| 2.0| Scala|
|[6.3,3.4,5.6,2.4]| Scala| 2.0|[6.3,3.4,5.6,2.4]| 2.0| Scala|
|[6.4,2.7,5.3,1.9]| Scala| 2.0|[6.4,2.7,5.3,1.9]| 2.0| Scala|
|[6.4,3.1,5.5,1.8]| Scala| 2.0|[6.4,3.1,5.5,1.8]| 2.0| Scala|
|[6.4,3.2,4.5,1.5]| spark| 0.0|[6.4,3.2,4.5,1.5]| 0.0| spark|
|[6.5,2.8,4.6,1.5]| spark| 0.0|[6.5,2.8,4.6,1.5]| 0.0| spark|
|[6.5,3.0,5.5,1.8]| Scala| 2.0|[6.5,3.0,5.5,1.8]| 2.0| Scala|
|[6.7,3.0,5.2,2.3]| Scala| 2.0|[6.7,3.0,5.2,2.3]| 2.0| Scala|
|[6.7,3.1,4.7,1.5]| spark| 0.0|[6.7,3.1,4.7,1.5]| 0.0| spark|
|[6.8,3.0,5.5,2.1]| Scala| 2.0|[6.8,3.0,5.5,2.1]| 2.0| Scala|
|[6.9,3.1,5.4,2.1]| Scala| 2.0|[6.9,3.1,5.4,2.1]| 2.0| Scala|
|[7.0,3.2,4.7,1.4]| spark| 0.0|[7.0,3.2,4.7,1.4]| 0.0| spark|
|[7.1,3.0,5.9,2.1]| Scala| 2.0|[7.1,3.0,5.9,2.1]| 2.0| Scala|
|[7.2,3.0,5.8,1.6]| Scala| 2.0|[7.2,3.0,5.8,1.6]| 0.0| spark|
|[7.2,3.2,6.0,1.8]| Scala| 2.0|[7.2,3.2,6.0,1.8]| 2.0| Scala|
|[7.2,3.6,6.1,2.5]| Scala| 2.0|[7.2,3.6,6.1,2.5]| 2.0| Scala|
|[7.4,2.8,6.1,1.9]| Scala| 2.0|[7.4,2.8,6.1,1.9]| 2.0| Scala|
|[7.7,2.6,6.9,2.3]| Scala| 2.0|[7.7,2.6,6.9,2.3]| 2.0| Scala|
|[7.7,2.8,6.7,2.0]| Scala| 2.0|[7.7,2.8,6.7,2.0]| 2.0| Scala|
+-----------------+------+------------+-----------------+----------+--------------+

均方根誤差為: 0.43643578047198484
決策樹分類模型的結構為: DecisionTreeRegressionModel (uid=dtr_6015411b1a3d) of depth 4 with 11 nodes
If (feature 3 <= 1.7)
If (feature 2 <= 1.9)
Predict: 1.0
Else (feature 2 > 1.9)
If (feature 2 <= 4.9)
If (feature 3 <= 1.6)
Predict: 0.0
Else (feature 3 > 1.6)
Predict: 2.0
Else (feature 2 > 4.9)
If (feature 3 <= 1.5)
Predict: 2.0
Else (feature 3 > 1.5)
Predict: 0.0
Else (feature 3 > 1.7)
Predict: 2.0

Spark 決策樹--回歸模型

相關推薦

Spark 決策樹--回歸模型

pipe sele nal evaluate 回歸 textfile style mode ssi package Spark_MLlib import org.apache.spark.ml.Pipeline import org.apache.spark.ml.ev

Logistic回歸模型和Python實現

logistic rip ast 步長 glm 常見 gist nes sel 回歸分析是研究變量之間定量關系的一種統計學方法，具有廣泛的應用。 Logistic回歸模型 線性回歸 先從線性回歸模型開始，線性回歸是最基本的回歸模型，它使用線性函數描述兩個變量之間的關系，將連

統計學習方法[6]——邏輯回歸模型

算法 ima 題解 問題 回歸 統計學習 同步 轉換 步長 統計學習方法由三個要素組成：方法=模型+策略+算法 模型是針對具體的問題做的假設空間，是學習算法要求解的參數空間。例如模型可以是線性函數等。 策略是學習算法學習的目標，不同的問題可以有不同的學習目標，例如經驗風險最

cart樹回歸及其剪枝的python實現

mat 接下來 更多 split 討論 也有 其中 程序 target 轉自穆晨 閱讀目錄 前言 回歸樹 回歸樹的優化工作 - 剪枝 模型樹 回歸樹 / 模型樹的使用 小結 回到頂部 前言 前文討論的回歸算法都是全局且針對線性問題的回歸，即使是其中的局

學習筆記 | 回歸模型 | 01 介紹

ren 筆記 reg 影響 stand 他在 sid res parent 01 Introduction Regression toward the mean 趨均數回歸 弗朗西斯·高爾頓 他在論及遺傳對個體差異的影響時，首次提到了相關系數的概念。比如他研究了

人工智能 tensorflow框架-->Softmax回歸模型的訓練與評估 09

min 初始化 dict ntop ict port true on() run import tensorflow as tf import numpy as np #mnist數據輸入from tensorflow.examples.tutorials.mnist

Spark 多項式邏輯回歸__多分類

ring red 不包含 ray str 使用 5.5 ont take package Spark_MLlib import org.apache.spark.ml.Pipeline import org.apache.spark.ml.classification.

Spark 多項式邏輯回歸__二分類

implicit frame sele 索引 ans gpa def 隱式 sse package Spark_MLlib import org.apache.spark.ml.Pipeline import org.apache.spark.ml.classifica

回歸模型效果評估系列1-QQ圖

們的 cap plt linspace sci ros 虛線 ati ntile （erbqi）導語 QQ圖全稱 Quantile-Quantile圖，也就是分位數-分位數圖，簡單理解就是把兩個分布相同分位數的值，構成點(x,y)繪圖；如果兩個分布很接近，那個點(x,y)會

回歸模型效果評估系列2-MAE、MSE、RMSE、MAPE(MAPD)

不同 term 指標 tle 相對 差距 view watermark root MAE、MSE、RMSE、MAPE(MAPD)這些都是常見的回歸預測評估指標，重溫下它們的定義和區別以及優缺點吧 MAE(Mean Absolute Error) 平均絕

基於tensorflow的簡單線性回歸模型

AC turn png cti ret type predict supports on() #!/usr/local/bin/python3 ##ljj [1] ##linear regression model import tensorflow as tf i

回歸模型構建

sets 目的 imp The ase scale predict die bsp 回歸模型構建 模塊 函數 算法名稱 簡稱 linear_model LinearRegression 線性回歸 LR svm SVR 支持向量機回歸 SVM neigh

[吳恩達機器學習筆記]15.1-3非監督學習異常檢測算法/高斯回回歸模型

閾值 訓練集 jpg -a 情況 color 訓練 ase 需要 15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.1問題動機 Problem motivation 飛機引擎異常檢測 假想你是一個飛機引擎制造

構建房屋預測回歸模型

frame efficient 們的 eating 運行 examples 圖形 model per 上面我們可以看見房屋的各種屬性信息 也就是房屋的各個特征 為了更形象化的展示房屋的特征,我們使用圖形來直觀展現 使用,我們前面介紹的Graphlab Canvas來展現

tensorflow訓練線性回歸模型

ima .py square alt %s initial sum 訓練數據 == 完整代碼 import tensorflow as tf import matplotlib.pyplot as plt import numpy as np #樣本數據 x_train

線性回歸模型

分布 高斯分布 數據 height width 最大似然估計 對數 比例 -s 一、線性方程 　　Θ1，Θ2，。。。為參數，Θ0為偏置，x1,x2,...xn為特征 　　若在二維平面中，一個特征，找出一條最合適的直線去擬合我們的數據 　　所在三維平面中，兩個特征，找出一個最

吳裕雄 數據挖掘與分析案例實戰（7）——嶺回歸與LASSO回歸模型

Y軸 otl error 處理 回歸 models 關系 err idg # 導入第三方模塊import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import mod

作業十三(回歸模型與房價預測)

顯示 pan ram inf features matplot name plot dict 1.導入boston房價數據集 from sklearn.datasets import load_boston boston=load_boston() boston.keys

回歸模型與房價預測

proc gree learn cat orm lin set 圖片 rep 1. 導入boston房價數據集 from sklearn.datasets import load_boston boston=load_boston() boston.keys() p

[吳恩達機器學習筆記]15.1-3非監督學習異常檢測演算法/高斯回回歸模型

15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.1問題動機 Problem motivation 飛機引擎異常檢測