主旨

視覺化是深度學習神經網路開發、除錯、應用中極為重要的手段。Tensorboard是Tensorflow提供的一個視覺化工具，本文通過實際程式碼實驗的方式說明使用TensorBoard實現記錄變數，實現視覺化除錯的目的。

原始碼

我的GitHub中TF_Graph專案， singleNerualNode.py

網路結構

TensorBoard基本呼叫方法

• 網路結構定義中將所有輸出到tf.summary的變數合併到一個Tensor

merged = tf.summary.merge_all()

• 建立Writer

  log_path =  "tf_writer"
 

  writer = tf.summary.FileWriter(log_path, sess.graph)

• 在訓練中計算merged Tensor，並輸出到writer

  for iterIdx in range(iterationNumber):
    sess.run(train_step, feed_dict={inputTensor: inputData, labelTensor:labels})
    summary = sess.run(merged, feed_dict={inputTensor: inputData, labelTensor:labels})
    writer.add
 
_summary(summary, iterIdx)
    #flush to disk every 50 iteration
    if iterIdx % 50 == 0:
        writer.flush()
  writer.close()

• 啟動TensorBoard，在shell輸入如下命令

  tensorboard –logdir tf_writer
  注：’tf_writer’是我的log_path, 實際使用中根據儲存Log的位置調整

• 從瀏覽器中訪問
  開啟瀏覽器訪問http://192.168.1.100:6006/，其中’192.168.1.100’是執行Tensorboard的計算機IP地址，可以是本機，也可以是網路上的伺服器，能訪問到就行。

標量（Scalar）的輸出

區別於矩陣和向量，標量可以認為只有1個維度的數值量。

在神經網路中，損失函式的值、模型預測準確率等都是典型的標量。如下是計算損失函式和模型預測準確率的程式碼。

  with tf.name_scope('evaluation'):
    loss = tf.nn.l2_loss(a - labels, name='L2Loss') / batchSize
    threshold = 0.5 
    binary_outputs = a >= threshold
    binary_labels = labels >= threshold
    correct_item = tf.equal(binary_outputs, binary_labels)
    accuracy = tf.reduce_mean(tf.cast(correct_item, tf.float32))

對於這些變數，我們最典型的需求是知道每一輪模型訓練迭代中，其朝著哪個方向變化，是否達到收斂狀態。使用Tensorboard，只要新增以下程式碼就可以實現

  tf.summary.scalar('L2Loss',loss)
  tf.summary.scalar('Accuracy', accuracy)

在Tensorboard中看到的結果如下，Accuracy和L2 Loss分別記錄在兩張圖表中，每張圖的橫座標表示迭代序號（第幾次訓練），縱座標就是我們新增的標量結果

以Accuracy為例，放大觀察

Tensorboard會記錄每個點的名稱、平滑後取值、原始值、Step（迭代序號)、時間戳和相對於訓練開始過了多長時間。這些資訊對於視覺化的觀察模型收斂情況非常有幫助。

多維張量(Tensor)的輸出

標量(scalar)在Tensor Flow的神經網路中只佔很少一部分，大部分變數是多維張量，即Tensor。由於一個Tensor有多個維度，無法像標量一樣直接輸出成曲線，在視覺化時可以有以下幾種方法：

1. 將Tensor轉化為標量輸出
2. 輸出Tensor的分佈直方圖
3. 如果Tensor本身是圖形（即以[batch, height, weight, channel]格式的圖片），以圖片形式輸出

第一種，在TensorBoard的官方教程中給出了清晰的示意程式碼。給定一個Tensor，如下函式從均值、標準差、最大值、最小值等多個角度轉化為標量，從而視覺化。由於標量的視覺化效果前一節已經展示過了，這裡不在重複。

def variable_summaries(var):
  """Attach a lot of summaries to a Tensor (for TensorBoard visualization)."""
  with tf.name_scope('summaries'):
    mean = tf.reduce_mean(var)
    tf.summary.scalar('mean', mean)
    with tf.name_scope('stddev'):
      stddev = tf.sqrt(tf.reduce_mean(tf.square(var - mean)))
    tf.summary.scalar('stddev', stddev)
    tf.summary.scalar('max', tf.reduce_max(var))
    tf.summary.scalar('min', tf.reduce_min(var))

第二種，以直方圖輸出，輸出方法非常簡單，按照下列程式碼的方式呼叫tf.summary.histogram即可

  with tf.name_scope('Nerual_Node'):
    W = tf.Variable(tf.random_normal([numberOfInputDims, 1]), name='weights')
    tf.summary.histogram('weights', W)
    b = tf.Variable(tf.zeros([1]), name='biases')
    tf.summary.histogram('biases', b)

問題的難點在於如何理解直方圖的輸出，直方圖的輸出形式如下

放大其中bias這張圖

這張圖垂直於螢幕的方向，即高亮的一行顯示822則個資料所在的座標軸，是迭代次數序號。隨著訓練迭代次數由0到最大迭代次數（這裡設定為1000）訓練，bias的分佈由遠及近畫出來。

關鍵問題是“bias的分佈”指的是什麼，根據程式碼bias本身定義為1維Tensor：b = tf.Variable(tf.zeros([1]), name=’biases’)，一個Batch定義為1000，那麼b可以視為具有1000個元素的一維陣列，上圖每個橫截面給出的是這1000個元素的概率分佈。

帶著這個結論，接下來考察更復雜的多維Tensor的直方圖：weight

weight本身定義維2*1 Tensor，每個batch定義為1000個樣本
W = tf.Variable(tf.random_normal([numberOfInputDims, 1]), name='weights')
則直方圖代表的是總數為2*1*1000個取值的分佈。

我們將W設計維2*1，是為了儲存兩個輸入節點分別的權重：w_1和w_2。在上述直方圖分佈中，確實可以清晰的看到W的分佈呈現雙峰分佈，這兩個峰分別對應w_1和w_2。隨著訓練次數的增加，w_1和w_2相距越來越遠，這和訓練目標是實現線性分類是吻合的。

Embedding

除了前文描述的標量和Tensor輸出之外，視覺化還包括觀察大量資料的分佈。這裡大量資料可以是輸入、輸出資料，也可以是網路中的任意引數。

Google對此有一篇專門的論文，其中Introduction對於Embedding的定義和作用有清晰的描述，筆者嘗試翻譯如下

embedding是從輸入資料點到歐式空間中點的對映，為了理解模型的行為特徵，機器學習的研發人員經常需要探索某個特定的Embedding。例如做音樂推薦系統的工程師建立了一個歌曲的embedding，他可能需要驗證”Stairway to Heaven”這支歌曲最近的鄰居包括“Whole Lotta Love”但不包括”Let it Go”. 對於這樣的使用者，從Embedding的幾何結構獲得理解就很關鍵。

具體到我們的案例，假定我想知道輸入資料的幾何分佈，使用如下程式碼實現。

from tensorflow.contrib.tensorboard.plugins import projector
  ....
  embedding_var = tf.Variable(inputData, 'data_embeding')
  config = projector.ProjectorConfig()
  embedding = config.embeddings.add()
  embedding.tensor_name = embedding_var.name
  embedding.metadata_path = 'label.csv'
  projector.visualize_embeddings(tf.summary.FileWriter(log_path), config)

Embedding還必須依賴於模型的儲存，在定義網路結構中，需要定義saver如下

  all_vars = tf.global_variables()
  saver = tf.train.Saver(all_vars)

在模型訓練中，必須儲存訓練結果

  for iterIdx in range(iterationNumber):
    sess.run(train_step, feed_dict={inputTensor: inputData, labelTensor:labels})
    .....
    saver.save(sess, model_path)

上述工作完成後，執行得到如下圖形

從圖形左側逐一解釋，首先左上部分要選擇資料和顏色，我們整個網路中只添加了一個Embedding Tensor，因此不用特殊選定，顏色算則Label即可，即根據label檔案不同的標籤標識顏色。

左下部有三張選項卡，s_TNE/PCA/Custom，預設為PCA。這裡使用PCA是為了把高維Tensor降低到3維，以方便視覺化。但我們此次實驗的資料，扣除表示batch的維度，只有2維，因此PCA的輸出就是資料的X、Y座標，同時不需要顯示Z軸。

右側是實際圖形，圖中可以清晰的看到訓練資料的線性可分性質。

由於Tensorflow在Embedding的文件本身較少，筆者寫作這一節內容時參考了大量網路資料，特別感謝以下這Link的回答者Ehsan和Albert X.W.