背景介紹

一些多輪迭代的程式，像機器學習程式等等，它會在執行時會打出很多狀態資訊，我們通過分析打印出來的log，判斷程式的效能指標。然而，由於log資料太多，資訊太大，靠眼睛看往往很難掌握系統的狀態變化情況，如每輪迭代的輸出是如何隨迭代次數變化的，各輪迭代的時間變化等等。 
要是能把這些狀態資訊打印出來，用圖形顯示，這會大大的減少痛苦！！breeze-viz就是用來幹這件事的。 
您可能會問，為什麼不適用MATLAB等比較專業的繪圖軟體來繪圖呢？這是因為我們要做的工作是集文字處理和資料繪圖於一體。專業繪圖軟體適合於使用向量、矩陣等資料結構繪圖，然而，我們面對的是如自然語言一樣的log文字。在自然語言處理方面，Scala、Python等現在語言使用十分方便。若您是搞Spark，使用Scala再合適不過了！！

breeze-viz介紹

breeze-viz是git開源專案scalanlp/breeze的一部分，它能在java/scala語言環境繪製x-y點圖，統計圖，二維矩陣灰度圖。breeze專案現在用途很廣泛，Spark MLlib很多機器學習演算法建立在breeze之上。breeze中最主要的是它的breeze數學庫，包括向量、矩陣等基本資料結構，各種數學函式、分佈，數學常用演算法等等。 
現在我們介紹viz能夠繪製的3類圖形

點、線圖

 
它用2個breeze vector變數分別表示橫座標點和豎座標點，在x-y軸上繪製出點。同一圖上可同時繪製 . + - 3種形狀的點，用以對比不同豎座標資料。

統計圖

 
它可以將離散資料集中的資料分佈在每個區間裡的個數統計出來，表示一種區間統計資訊。viz用scala Array儲存資料，通過指定區間個數和資料的跨度自動劃分區間長度。

二維矩陣圖

 
它能將矩陣裡面的資料按值的相對大小以灰度形式顯示，上圖便是元素隨機賦值的矩陣的表示效果，是不是特別像80年度訊號不好的黑白電視。

專案搭建

breeze-viz

我們下載breeze-viz jar包後還有下載它的全部Compile Dependencies（scala runtime/compiler除外），就在maven breeze-viz網頁下面，因為執行的時候需要這些jar Dependencies。

breeze

breeze本身就是breeze-viz的Compile Dependencies之一，然而它自己過於強大，也依賴一些其他的專案如：shapeless_2.11、breeze-macros_2.11、spire_2.11等等。 
當然，缺失什麼依賴執行程式是會包報告的，如： 
Error:scalac: error while loading DenseVector, Missing dependency ‘bad symbolic reference. A signature in DenseVector.class refers to term macros

 
in package breeze which is not available. 
It may be completely missing from the current classpath, or the version on 
the classpath might be incompatible with the version used when compiling DenseVector.class.’, required by C:\Users\Administrator\IdeaProjects\Drawing\lib\breeze_2.10-0.12.jar(breeze/linalg/DenseVector.class) 
缺失的便是macros，你就去breeze的Compile Dependencies裡下載它的依賴macros。

下載其他依賴…

建立繪圖工程

import我們下載的jar包，執行下面的Test程式，看看是不是有什麼依賴缺失，缺失就把它下載。 
執行Test程式，你就能看到breeze-viz介紹裡面的繪圖效果了。 
大功告成！！

import breeze.linalg.{DenseMatrix => BDM, DenseVector => BDV, linspace}
import breeze.plot._

/**
  * Created by Administrator on 2016/1/13.
  */
object Test {
  def main(args: Array[String]) {
    val a = new BDV[Int](1 to 3 toArray)
    val b = new BDM[Int](3, 3, 1 to 9 toArray)

    val f = Figure()
    val p = f.subplot(0)
    val x = linspace(0.0, 1.0)
    p += plot(x, x :^ 2.0)
    p += plot(x, x :^ 3.0, '.')
    p.xlabel = "x axis"
    p.ylabel = "y axis"
    f.saveas("d:\\lines.png")

    val p2 = f.subplot(2, 1, 1)
    val g = breeze.stats.distributions.Gaussian(0, 1)
    p2 += hist(g.sample(100000), 1000)
    p2.title = "A normal distribution"
    f.saveas("d:\\subplots.png")

    val f2 = Figure()
    f2.subplot(0) += image(BDM.rand(200, 200))
    f2.saveas("d:\\image.png")
  }
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31

一些樣例

作者介紹

唐黎哲，國防科學技術大學 並行與分散式計算國家重點實驗室(PDL)碩士，從事spark、圖計算、LDA（主題分類）研究，歡迎交流，請多指教。 
郵箱：[email protected]