專案已上傳至 GitHub —— img-pre

1. 目錄結構

images/ 資料夾下存放將被用於處理的影象，img_all.py 示範了 TensorFlow 中影象處理函式的使用方法，img_pre.py 給出了一個對影象進行預處理的程式示例：

img-pre/
    images/
        1.jpg
    img_all.py
    img_pre.py

2. 影象處理函式

2.1 編碼處理

在使用影象之前需要先對影象進行解碼，將影象轉為畫素矩陣，tensorflow.image 提供了影象解碼函式，返回的矩陣資料型別是 uint8：

• decode_jpeg：解碼 JPEG 格式影象
• decode_and_crop_jpeg：解碼並裁剪 JPEG 格式影象
• decode_png：解碼 PNG 格式影象
• decode_gif：解碼 GIF 格式影象
• decode_bmp：解碼 BMP 格式影象
• decode_image：自動檢測影象格式進行解碼，注意 GIF 格式影象返回一個四維矩陣

以下程式碼示範對 JPEG 格式影象的解碼處理：

import tensorflow as tf
import matplotlib.pyplot as plt

# 讀取影象的原始資料
image_raw_data = tf.gfile.FastGFile('images/1.jpg', 'rb'
 
).read()


# 使用pyplot顯示影象
def show(img_data):
    plt.imshow(img_data.eval())
    plt.show()


with tf.Session() as sess:
    # 將原始資料解碼成多維矩陣
    img_data = tf.image.decode_jpeg(image_raw_data)
    print(img_data.eval())
    show(img_data)

    # 將影象的矩陣編碼成影象並存入檔案
    encoded_image = tf.image.encode_jpeg(
 
img_data)
    with tf.gfile.GFile('images/output.jpg', 'wb') as f:
        f.write(encoded_image.eval())

    # 將影象資料的型別轉為實數型別，便於對影象進行處理
    img_data = tf.image.convert_image_dtype(img_data, dtype=tf.float32)

2.2 大小調整

tf.image.resize_images 函式中有四種調整影象的方法，結果會有細微差別：

以下程式碼都是在影象編碼處理程式碼的基礎下執行，省去了載入原始影象，定義會話等過程：

    # 用resize_images調整影象大小
    # 第一個引數為原始影象
    # 第二個引數為調整後的影象大小[new_height,new_width]，跟舊版本分為兩個引數不一樣
    # method引數給出了調整影象大小的演算法
    resized = tf.image.resize_images(img_data, [300, 300], method=0)
    print(resized.get_shape())  # 影象深度沒有顯式指定則為問號
    show(resized)

還可以通過 resize_image_with_crop_or_pad 函式對影象進行裁剪或填充：

    # 用resize_image_with_crop_or_pad調整影象大小
    # 第一個引數為原始影象
    # 第二個和第三個引數是調整後的影象大小，大於原圖則填充，小於則裁剪居中部分
    croped = tf.image.resize_image_with_crop_or_pad(img_data, 200, 200)
    show(croped)
    padded = tf.image.resize_image_with_crop_or_pad(img_data, 500, 600)
    show(padded)

還支援通過比例裁剪影象：

    # 用central_crop調整影象大小
    # 第一個引數是原始影象
    # 第二個引數為調整比例，是(0,1]的實數
    central_cropped = tf.image.central_crop(img_data, 0.5)
    show(central_cropped)

2.3 影象翻轉

以下程式碼示範了將影象進行上下翻轉、左右翻轉及沿對角線翻轉：

    # 影象翻轉
    flipped = tf.image.flip_up_down(img_data)  # 上下
    show(flipped)
    flipped = tf.image.flip_left_right(img_data)  # 左右
    show(flipped)
    transposed = tf.image.transpose_image(img_data)  # 對角線
    show(transposed)

還可以隨機翻轉影象：

    # 隨機翻轉影象
    flipped = tf.image.random_flip_up_down(img_data)  # 隨機上下
    show(flipped)
    flipped = tf.image.random_flip_left_right(img_data)  # 隨機左右
    show(flipped)

2.4 色彩調整

影象的色彩調整有四方面：

• 亮度
• 對比度
• 飽和度
• 色相

修改影象的亮度：

    # 調整影象的亮度
    adjusted = tf.image.adjust_brightness(img_data, 0.5)  # 將影象的亮度+0.5
    show(adjusted)
    adjusted = tf.image.random_brightness(
        img_data, max_delta=0.5)  # 在[-0.5,0.5]範圍內隨機調整影象亮度
    show(adjusted)

修改影象的對比度：

    # 調整影象的對比度
    adjusted = tf.image.adjust_contrast(img_data, -5)  # 將影象的對比度-5
    show(adjusted)
    adjusted = tf.image.adjust_contrast(img_data, 5)  # 將影象的對比度+5
    show(adjusted)
    adjusted = tf.image.random_contrast(img_data, lower=-5, upper=5)  # 隨機調整對比度

修改影象的飽和度：

    # 調整影象的飽和度
    adjusted = tf.image.adjust_saturation(img_data, -5)  # 將飽和度-5
    show(adjusted)
    adjusted = tf.image.adjust_saturation(img_data, 5)  # 將飽和度+5
    show(adjusted)
    adjusted = tf.image.random_saturation(image, lower=-5, uppper=5)  # 隨機調整飽和度

調整影象的色相：

    # 調整影象的色相
    adjusted = tf.image.adjust_hue(img_data, 0.5)  # 將色相+0.5
    show(adjusted)
    adjusted = tf.image.random_hue(img_data, max_delta=0.5)  # 隨機調整色相
    show(adjusted)

2.5 處理標註框

以下程式碼示範瞭如何在影象中加入標註框：

	# 用draw_bounding_boxes加入標註框
    # 要求影象矩陣型別為實數
    # 輸入是一個batch的資料，也就是多張影象，所以需要加一維
    batched = tf.expand_dims(img_data, 0)
    boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.35, 0.47, 0.5,
                                                   0.56]]])  # 代表影象的相對位置
    result = tf.image.draw_bounding_boxes(batched, boxes)
    show(result)

還能通過 sample_distorted_bounding_box 函式來隨機擷取影象：

	# 用sample_distorted_bounding_box隨機擷取影象
    boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.35, 0.47, 0.5, 0.56]]])
    begin, size, bbox_for_draw = tf.image.sample_distorted_bounding_box(
        tf.shape(img_data), bounding_boxes=boxes)  # 通過標註框告訴演算法有資訊量的部分
    batched = tf.expand_dims(img_data, 0)
    image_with_box = tf.image.draw_bounding_boxes(batched, bbox_for_draw)
    distorted_image = tf.slice(img_data, begin, size)
    show(distorted_image)

3. 影象預處理示例

img_pre.py 這個示例給出瞭如何在程式中對影象進行預處理，從而降低不相關因素對訓練模型的影響：

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt


# 通過調整亮度、對比度、飽和度、色相的順序隨機調整影象的色彩
def distort_color(image, color_ordering=0):
    if color_ordering == 0:
        image = tf.image.random_brightness(image, max_delta=32 / 255.0)
        image = tf.image.random_saturation(image, lower=0.5, upper=1.5)
        image = tf.image.random_hue(image, max_delta=0.2)
        image = tf.image.random_contrast(image, lower=0.5, upper=1.5)
    elif color_ordering == 1:
        image = tf.image.random_brightness(image, max_delta=32 / 255.0)
        image = tf.image.random_hue(image, max_delta=0.2)
        image = tf.image.random_contrast(image, lower=0.5, upper=1.5)
        image = tf.image.random_saturation(image, lower=0.5, upper=1.5)
    elif color_ordering == 2:
        # 一共可以有24種排列情況
        pass
    return tf.clip_by_value(image, 0.0, 1.0)


# 對影象進行預處理
def preprocess_for_train(image, height, width, bbox):
    # 預設整個影象是需要關注的部分
    if bbox is None:
        bbox = tf.constant(
            [0.0, 0.0, 1.0, 1.0], dtype=tf.float32, shape=[1, 1, 4])

    # 轉換影象張量的型別
    if image.dtype != tf.float32:
        image = tf.image.convert_image_dtype(image, dtype=tf.float32)

    # 隨機擷取影象，減少需要關注的物體大小對影象識別演算法的影響
    bbox_begin, bbox_size, _ = tf.image.sample_distorted_bounding_box(
        tf.shape(image), bounding_boxes=bbox, min_object_covered=0.1)
    distorted_image = tf.slice(image, bbox_begin, bbox_size)

    # 將隨機擷取的影象調整為輸入層的大小
    distorted_image = tf.image.resize_images(
        distorted_image, size=[height, width], method=np.random.randint(4))

    # 隨機左右翻轉影象
    distorted_image = tf.image.random_flip_left_right(distorted_image)

    # 使用一種隨機順序調整影象色彩
    distorted_image = distort_color(distorted_image, np.random.randint(2))
    return distorted_image


image_raw_data = tf.gfile.FastGFile('images/1.jpg', 'rb').read()
with tf.Session() as sess:
    img_data = tf.image.decode_jpeg(image_raw_data)
    boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.35, 0.47, 0.5, 0.56]]])
    for i in range(6):
        result = preprocess_for_train(img_data, 300, 300, boxes)
        plt.imshow(result.eval())
        plt.show()

原書中的函式版本有些落後，有些函式會報錯：

1. tf.image.sample_distorted_bounding_box()

   # 舊版本
   bbox_begin,bbox_size,bbox_for_draw=tf.image.sample_distorted_bounding_box(tf.shape(image),bounding_boxes=bbox)
   
   # 新版本
   bbox_begin,bbox_size,bbox_for_draw=tf.image.sample_distorted_bounding_box(tf.shape(image),bounding_boxes=bbox,min_object_covered=0.1)
   

   如果不顯式給 min_object_covered 引數就會報錯：

   ValueError: Tried to convert ‘min_object_covered’ to a tensor and failed. Error: None values not supported. 
   

2. tf.image.resize_images()

   # 舊版本
   distorted_image=tf.image.resize_images(distorted_image,height,width,method=method)
   
   # 新版本
   distorted_image = tf.image.resize_images(distorted_image, size=[height, width], method=method)
   

   如果不將 size 寫為 size=[height,width] 的形式就會報錯：

   TypeError: resize_images() got multiple values for argument ‘method’