王小草SparkML筆記

筆記整理時間：2017年1月10日
筆記整理者：王小草

1. 基於詞頻數的文件向量

在文字特徵提取_01和02中分別介紹了TF-IDF文件矩陣和基於神經網路的word2vec詞嵌入矩陣。本文我們要介紹的是一個非常基礎非常簡單的文件向量表徵。

做過LDA的小夥伴知道對於文件的特徵，它只需要每個詞在該文件中出現的頻數即可。因此簡單而言，根據頻數（token counts)可以將一個文件轉換成一個向量。

假設有兩篇文件，分詞後以詞的陣列形式表示，如下：

通過計算詞頻，文件可以表示成如下表格中的第三列：

將兩篇文件中的詞去重後就組成了一個字典，這個字典中有3個詞：a,b,c,分別建立索引為0,1,2.
在第三列的文件向量，是由基於字典的索引向量，與對應對索引的詞頻向量所組成的。
文件向量是稀疏的表徵，例子中只有3個詞可能感覺不出，在實際業務中，字典的長度是上萬，而文章中出現的詞可能是幾百或幾千，故很多索引對應的位置詞頻都是0.

2. Spark程式碼

來看看官網上的案例。

object FeatureExtraction {

  def main(args: Array[String]) {

    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

    val conf = new SparkConf().setAppName("FeatureExtraction").setMaster("local")
    val sc = new SparkContext(conf)

    val spark = SparkSession
      .builder
 
()
      .appName("Feature Extraction")
      .config("spark.some.config.option", "some-value")
      .getOrCreate()

      // 人為得建立一個df
    val df = spark.createDataFrame(Seq(
      (0, Array("a", "b", "c")),
      (1, Array("a", "b", "b", "c", "a"))
    )).toDF("id", "words")


    //訓練CountVectorizerModel
    val cvModel: CountVectorizerModel = new CountVectorizer()
      .setInputCol("words")
      .setOutputCol("features")
      .setVocabSize(3)
      .setMinDF(2)
      .fit(df)


    //也可以基於已有的字典訓練模型
    val cvm = new CountVectorizerModel(Array("a", "b", "c"))
      .setInputCol("words")
      .setOutputCol("features")

    //預測
    cvModel.transform(df).show(false)

    spark.stop()
  }

}

列印的結果：

+---+---------------+-------------------------+
|id |words          |features                 |
+---+---------------+-------------------------+
|0  |[a, b, c]      |(3,[0,1,2],[1.0,1.0,1.0])|
|1  |[a, b, b, c, a]|(3,[0,1,2],[2.0,2.0,1.0])|
+---+---------------+-------------------------+