注：文章轉自《慢慢學TensorFlow》微信公眾號

影象是人們喜聞樂見的一種資訊形式，“百聞不如一見”，有時一張圖能勝千言萬語。影象處理是利用計算機將數值化的影象進行一定（線性或非線性）變換獲得更好效果的方法。Photoshop，美顏相機就是利用影象處理技術的應用程式。深度學習最重要的應用領域就是計算機視覺（CV, Computer Vision），歷史上，MNIST 手寫體數字識別和 ImageNet 大規模影象識別均得益於深度學習模型，取得了相比傳統方法更高的準確率。從 2012 年的 AlexNet 模型開始，隨後的 VGG, GoogLeNet, ResNet 等模型不斷重新整理 ImageNet 影象識別準確率紀錄，甚至超過了人類水平。為了獲得良好的識別效果，除了使用更好的模型，資料集的預處理也是十分重要的一項內容，最常用的方法有尺度縮放、隨機切片、隨機翻轉、顏色變換等。

本文介紹如何使用 TensorFlow 完成影象資料的預處理，以及如何使用 tensorboard 工具將影象資料進行視覺化。在使用 TensorFlow 實現影象識別、目標檢測時會經常用到本文介紹的內容。

首先看下輸入影象，是一隻貓：

TensorFlow 讀取圖片資料程式碼：

reader = tf.WholeFileReader()

key, value = reader.read(tf.train.string_input_producer(['cat.jpg']))

image0 = tf.image.decode_jpeg(value)

用過 Caffe 的讀者可能會非常熟悉上面的圖片（位於 caffe/examples/images/cat.jpg）。原圖尺寸為 360 x 480。

影象縮放

程式碼：

resized_image = tf.image.resize_images(image0, [256, 256], \

        method=tf.image.ResizeMethod.AREA)

其中 method 有四種選擇：

ResizeMethod.BILINEAR ：雙線性插值

ResizeMethod.NEAREST_NEIGHBOR ： 最近鄰插值

ResizeMethod.BICUBIC ： 雙三次插值

ResizeMethod.AREA ：面積插值

讀者可以分別試試，看看縮放效果。

影象裁剪

程式碼：

cropped_image = tf.image.crop_to_bounding_box(image0, 20, 20, 256, 256)

影象水平翻轉

程式碼：

flipped_image = tf.image.flip_left_right(image0)

除此之外還可以上下翻轉：

flipped_image = tf.image.flip_up_down(image0)

影象旋轉

程式碼：

rotated_image = tf.image.rot90(image0, k=1)

其中 k 值表示旋轉 90 度的次數，讀者可以嘗試對原圖旋轉 180 度、270 度。

影象灰度變換

程式碼：

grayed_image = tf.image.rgb_to_grayscale(image0)

從上面看到，用 TensorFlow 實現上述影象預處理是非常簡單的。TensorFlow 也提供了針對目標檢測中用到的 bounding box 處理的 api，有興趣的讀者可以翻閱 api 文件（https://www.tensorflow.org/versions/r1.0/api_docs/python/image/working_with_bounding_boxes）學習。

為了方便檢視影象預處理的效果，可以利用 TensorFlow 提供的 tensorboard 工具進行視覺化。

使用方法也比較簡單，直接用 tf.summary.image 將影象寫入 summary，對應程式碼如下：

img_resize_summary = tf.summary.image('image resized', tf.expand_dims(resized_image, 0))

cropped_image_summary = tf.summary.image('image cropped', tf.expand_dims(cropped_image, 0))

flipped_image_summary = tf.summary.image('image flipped', tf.expand_dims(flipped_image, 0))

rotated_image_summary = tf.summary.image('image rotated', tf.expand_dims(rotated_image, 0))

grayed_image_summary = tf.summary.image('image grayed', tf.expand_dims(grayed_image, 0))

merged = tf.summary.merge_all()

with tf.Session() as sess:

  summary_writer = tf.summary.FileWriter('/tmp/tensorboard', sess.graph)

  summary_all = sess.run(merged)

  summary_writer.add_summary(summary_all, 0)

  summary_writer.close()

執行該程式，會在 /tmp/tensorboard 目錄下生成 summary，接著在命令列啟動 tensorboard 服務：

開啟瀏覽器，輸入 127.0.0.1:6006 就可以檢視 tensorboard 頁面了（Ubuntu 自帶的 firefox 開啟 tensorboard 時不顯示影象，可以更換為 Chrome 瀏覽器）。

TensorBoard 影象視覺化效果

利用 tensorboard 還可以檢視影象直方圖

為了顯示直方圖，需要在程式碼中增加一行 summary ：

histogram_summary = tf.summary.histogram('image hist', image0)

完整程式碼如下：

如果您覺得本文對您有幫助，請關注微信公眾號，將來會有更多更好的文章推送！