2. 程式人生 > >深度學習基礎系列（十一）| Keras中影象增強技術詳解

深度學習基礎系列（十一）| Keras中影象增強技術詳解

阿新 • • 發佈：2018-12-10

　　在深度學習中，資料短缺是我們經常面臨的一個問題，雖然現在有不少公開資料集，但跟大公司掌握的海量資料集相比，數量上仍然偏少，而某些特定領域的資料採集更是非常困難。根據之前的學習可知，資料量少帶來的最直接影響就是過擬合。那有沒有辦法在現有少量資料基礎上，降低或解決過擬合問題呢？

      答案是有的，就是資料增強技術。我們可以對現有的資料，如圖片資料進行平移、翻轉、旋轉、縮放、亮度增強等操作，以生成新的圖片來參與訓練或測試。這種操作可以將圖片數量提升數倍，由此大大降低了過擬合的可能。本文將詳解影象增強技術在Keras中的原理和應用。

 

一、Keras中的ImageDataGenerator類

　　影象增強的官網地址是：https://keras.io/preprocessing/image/ ，API使用相對簡單，功能也很強大。

　　先介紹的是ImageDataGenerator類，這個類定義了圖片該如何進行增強操作，其API及引數定義如下：

keras.preprocessing.image.ImageDataGenerator(
　　　　featurewise_center=False, #輸入值按照均值為0進行處理
　　　　samplewise_center=False, #每個樣本的均值按0處理
　　　　featurewise_std_normalization=False, #輸入值按照標準正態化處理
　　　　samplewise_std_normalization=False, #每個樣本按照標準正態化處理 
　　　　zca_whitening
 
=False, # 是否開啟增白
　　　　zca_epsilon=1e-06, 
　　　　rotation_range=0, #影象隨機旋轉一定角度，最大旋轉角度為設定值
　　　　width_shift_range=0.0, #影象隨機水平平移，最大平移值為設定值。若值為小於1的float值，則可認為是按比例平移，若大於1，則平移的是畫素；若值為整型，平移的也是畫素；假設畫素為2.0，則移動範圍為[-1,1]之間
　　　　height_shift_range=0.0, #影象隨機垂直平移，同上
　　　　brightness_range=None, # 影象隨機亮度增強，給定一個含兩個float值的list，亮度值取自上下限值間
　　　　shear_range
 
=0.0, # 影象隨機修剪
　　　　zoom_range=0.0, # 影象隨機變焦 
　　　　channel_shift_range=0.0, 
　　　　fill_mode='nearest', #填充模式，預設為最近原則，比如一張圖片向右平移，那麼最左側部分會被臨近的圖案覆蓋
　　　　cval=0.0, 
　　　　horizontal_flip=False, #影象隨機水平翻轉
　　　　vertical_flip=False, #影象隨機垂直翻轉
　　　　rescale=None, #縮放尺寸
　　　　preprocessing_function=None, 
　　　　data_format=None, 
　　　　validation_split=0.0, 
　　　　dtype=None)

 　　下文將以mnist和花類的資料集進行圖片操作，其中花類（17種花，共1360張圖片）資料集可見我的百度網盤： https://pan.baidu.com/s/1YDA_VOBlJSQEijcCoGC60w 。讓我們以直觀地方式看看各引數能帶來什麼樣的圖片變化。

 　　隨機旋轉

　　我們可用mnist資料集對圖片進行隨機旋轉，旋轉的最大角度由引數定義。

from keras.datasets import mnist
from keras.preprocessing.image import ImageDataGenerator
from matplotlib import pyplot
from keras import backend as K

K.set_image_dim_ordering('th')

(train_data, train_label), (test_data, test_label) = mnist.load_data()
train_data = train_data.reshape(train_data.shape[0], 1, 28, 28)
train_data = train_data.astype('float32')

# 建立影象生成器，指定對影象操作的內容
datagen = ImageDataGenerator(rotation_range=90)
# 影象生成器要訓練的資料
datagen.fit(train_data)

# 這是個影象生成迭代器，是可以無限生成各種新圖片，我們指定每輪迭代只生成9張圖片
for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9):
    for i in range(0, 9):
        # 建立一個 3*3的九宮格，以顯示圖片
        pyplot.subplot(330 + 1 + i)
        pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray'))
    pyplot.show()
    break

　　生成結果為：

　　隨機平移

　　我們可用花類資料集對圖片進行隨機平移，可以在垂直和水平方向上平移，平移最大值由引數定義。

from keras.preprocessing.image import ImageDataGenerator
from matplotlib import pyplot
from keras.preprocessing.image import array_to_img

IMAGE_SIZE = 224
NUM_CLASSES = 17
TRAIN_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/train'
TEST_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/test'
FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy',
                  'Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower',
                  'Tigerlily', 'tulip', 'WindFlower']

# 建立影象生成器，指定對影象操作的內容，平移的最大比例為50%
train_datagen = ImageDataGenerator(width_shift_range=0.5, height_shift_range=0.5)

# 這是個影象生成迭代器，是可以無限生成各種新圖片，我們指定每輪迭代只生成9張圖片
for X_batch, y_batch in train_datagen.flow_from_directory(directory=TRAIN_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE),batch_size=9, classes=FLOWER_CLASSES):
    for i in range(0, 9):
        pyplot.subplot(330 + 1 + i)
        pyplot.imshow(array_to_img(X_batch[i]))
    pyplot.show()
    break

　　生成結果為：

　　可以觀察到，圖片除了實現平移外，其原來的位置都被最近的圖案給填充，因為預設給的填充方式是nearest。

　　隨機亮度調整

　　我們可用花類資料集對圖片進行隨機亮度調整，亮度範圍由引數定義。

from keras.preprocessing.image import ImageDataGenerator
from matplotlib import pyplot
from keras.preprocessing.image import array_to_img

IMAGE_SIZE = 224
NUM_CLASSES = 17
TRAIN_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/train'
TEST_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/test'
FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy',
                  'Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower',
                  'Tigerlily', 'tulip', 'WindFlower']

# 建立影象生成器，指定對影象操作的內容，亮度範圍在0.1~10之間隨機選擇
train_datagen = ImageDataGenerator(brightness_range=[0.1, 10])

# 這是個影象生成迭代器，是可以無限生成各種新圖片，我們指定每輪迭代只生成9張圖片
for X_batch, y_batch in train_datagen.flow_from_directory(directory=TRAIN_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE),batch_size=9, classes=FLOWER_CLASSES):
    for i in range(0, 9):
        pyplot.subplot(330 + 1 + i)
        pyplot.imshow(array_to_img(X_batch[i]))
    pyplot.show()
    break

　　生成結果為：

　　隨機焦距調整

　　我們可用mnist資料集對圖片進行隨機焦距調整，焦距調整值由引數定義。

from keras.datasets import mnist
from keras.preprocessing.image import ImageDataGenerator
from matplotlib import pyplot
from keras import backend as K

K.set_image_dim_ordering('th')

(train_data, train_label), (test_data, test_label) = mnist.load_data()
train_data = train_data.reshape(train_data.shape[0], 1, 28, 28)
train_data = train_data.astype('float32')

# 建立影象生成器，指定對影象操作的內容，焦距值在0.1~1之間
datagen = ImageDataGenerator(zoom_range=[0.1, 1])
# 影象生成器要訓練的資料
datagen.fit(train_data)

# 這是個影象生成迭代器，是可以無限生成各種新圖片，我們指定每輪迭代只生成9張圖片
for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9):
    for i in range(0, 9):
        # 建立一個 3*3的九宮格，以顯示圖片
        pyplot.subplot(330 + 1 + i)
        pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray'))
    pyplot.show()
    break

　　生成結果為：

　　可以看出這跟相機調焦一樣，可以放大或縮小焦距。

　　隨機翻轉

　　我們可用花類資料集對圖片進行隨機翻轉。

from keras.preprocessing.image import ImageDataGenerator
from matplotlib import pyplot
from keras.preprocessing.image import array_to_img

IMAGE_SIZE = 224
NUM_CLASSES = 17
TRAIN_PATH = '/home/hutao/Documents/tensorflow/images/17flowerclasses/train'
TEST_PATH = '/home/hutao/Documents/tensorflow/images/17flowerclasses/test'
FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy',
                  'Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower',
                  'Tigerlily', 'tulip', 'WindFlower']

# 建立影象生成器，指定對影象操作的內容，圖片隨機翻轉
train_datagen = ImageDataGenerator(horizontal_flip=True, vertical_flip=True)

# 這是個影象生成迭代器，是可以無限生成各種新圖片，我們指定每輪迭代只生成9張圖片
for X_batch, y_batch in train_datagen.flow_from_directory(directory=TRAIN_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE),batch_size=9, classes=FLOWER_CLASSES):
    for i in range(0, 9):
        pyplot.subplot(330 + 1 + i)
        pyplot.imshow(array_to_img(X_batch[i]))
    pyplot.show()
    break

　　生成結果為：

　　從上圖可看出，有些圖片水平翻轉了，有些是垂直翻轉了。

　　ZCA影象增白

　　說實在我不太清楚該技術有何用，用花類圖片實驗結果顯示zca不支援，可以用mnist資料集來看看效果。

from keras.datasets import mnist
from keras.preprocessing.image import ImageDataGenerator
from matplotlib import pyplot
from keras import backend as K

K.set_image_dim_ordering('th')

(train_data, train_label), (test_data, test_label) = mnist.load_data()
train_data = train_data.reshape(train_data.shape[0], 1, 28, 28)
train_data = train_data.astype('float32')

# 建立影象生成器，指定對影象操作的內容，增白圖片
datagen = ImageDataGenerator(zca_whitening=True)
# 影象生成器要訓練的資料
datagen.fit(train_data)

# 這是個影象生成迭代器，是可以無限生成各種新圖片，我們指定每輪迭代只生成9張圖片
for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9):
    for i in range(0, 9):
        # 建立一個 3*3的九宮格，以顯示圖片
        pyplot.subplot(330 + 1 + i)
        pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray'))
    pyplot.show()
    break

　　生成結果為：

　　特徵標準化

　　特徵標準化的含義是使圖片的畫素均值為0，標準差為1，不過我試了多次，直觀效果不明顯。

from keras.datasets import mnist
from keras.preprocessing.image import ImageDataGenerator
from matplotlib import pyplot
from keras import backend as K

K.set_image_dim_ordering('th')

(train_data, train_label), (test_data, test_label) = mnist.load_data()
train_data = train_data.reshape(train_data.shape[0], 1, 28, 28)
train_data = train_data.astype('float32')

# 建立影象生成器，指定對影象操作的內容，允許圖片標準化處理
datagen = ImageDataGenerator(featurewise_center=True, featurewise_std_normalization=True)
# 影象生成器要訓練的資料
datagen.fit(train_data)

# 這是個影象生成迭代器，是可以無限生成各種新圖片，我們指定每輪迭代只生成9張圖片
for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9):
    for i in range(0, 9):
        # 建立一個 3*3的九宮格，以顯示圖片
        pyplot.subplot(330 + 1 + i)
        pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray'))
    pyplot.show()
    break

　　生成結果為：

　　就個人而言，我傾向於在影象增強中使用旋轉、亮度調整、翻轉和平移操作。

 

二、Keras如何進行影象增強資料訓練

　　在之前的文章中我已經展現過資料增強的使用。在Keras中，增強圖片有三種來源：

  • 圖片來源於已知資料集，如mnist、cifar，資料格式為numpy格式；
  • 圖片來源於我們自己蒐集的圖片，如本文引入的花類資料集，其圖片為jpg、png等格式；
  • 圖片來源於panda資料集；

　　其中資料來源已知資料集，其操作方法如下：

(x_train, y_train), (x_test, y_test) = cifar10.load_data()
y_train = np_utils.to_categorical(y_train, num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)

datagen = ImageDataGenerator(
    featurewise_center=True,
    featurewise_std_normalization=True,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=True)

#生成器繫結訓練集
datagen.fit(x_train)

# 模型繫結生成器，並不停地迭代產生資料，可指定迭代次數，假設圖片總數為1000張，batch預設為32，則每次迭代需要產生1000/32=32個步驟
history = model.fit_generator(datagen.flow(x_train, y_train, batch_size=32),
                    steps_per_epoch=len(x_train) / 32, epochs=epochs)

　　資料來源圖片集，其操作方法如下：

batch_size = 32
# 迭代50次
epochs = 50
# 依照模型規定，圖片大小被設定為224
IMAGE_SIZE = 224
TRAIN_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/train'
TEST_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/test'
FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy','Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower','Tigerlily', 'tulip', 'WindFlower']

# 使用資料增強
train_datagen = ImageDataGenerator(rotation_range=90)
# 可指定輸出圖片大小，因為深度學習要求訓練圖片大小保持一致
train_generator = train_datagen.flow_from_directory(directory=TRAIN_PATH,
                                                        target_size=(IMAGE_SIZE, IMAGE_SIZE),
                                                        classes=FLOWER_CLASSES)
test_datagen = ImageDataGenerator()
test_generator = test_datagen.flow_from_directory(directory=TEST_PATH, 
                                                      target_size=(IMAGE_SIZE, IMAGE_SIZE),
                                                      classes=FLOWER_CLASSES)
 # 執行模型
history = model.fit_generator(train_generator, epochs=epochs, validation_data=test_generator)

 　　需要說明的是，這些增強圖片都是在記憶體中實時批量迭代生成的，不是一次性被讀入記憶體，這樣可以極大地節約記憶體空間，加快處理速度。若想保留中間過程生成的增強圖片，可以在上述方法中新增儲存路徑等引數，此處不再贅述。

 

三、結論

　　本文介紹瞭如何在Keras中使用影象增強技術，對圖片可以進行各種操作，以生成數倍於原圖片的增強圖片集。這些資料集可幫助我們有效地對抗過擬合問題，更好地生成理想的模型。

相關推薦

深度學習基礎系列（十一）| Keras中影象增強技術詳解

　　在深度學習中，資料短缺是我們經常面臨的一個問題，雖然現在有不少公開資料集，但跟大公司掌握的海量資料集相比，數量上仍然偏少，而某些特定領域的資料採集更是非常困難。根據之前的學習可知，資料量少帶來的最直接影響就是過擬合。那有沒有辦法在現有少量資料基礎上，降低或解決過擬合問題呢？    

深度學習基礎系列（十）| Global Average Pooling是否可以替代全連線層？

　　Global Average Pooling(簡稱GAP，全域性池化層)技術最早提出是在這篇論文（第3.2節）中，被認為是可以替代全連線層的一種新技術。在keras釋出的經典模型中，可以看到不少模型甚至拋棄了全連線層，轉而使用GAP，而在支援遷移學習方面，各個模型幾乎都支援使用Global Average

深度學習基礎系列（一）| 一文看懂用kersa構建模型的各層含義（掌握輸出尺寸和可訓練引數數量的計算方法）

      我們在學習成熟神經模型時，如VGG、Inception、Resnet等，往往面臨的第一個問題便是這些模型的各層引數是如何設定的呢？另外，我們如果要設計自己的網路模型時，又該如何設定各層引數呢？如果模型引數設定出錯的話，其實模型也往往不能運行了。 　　所以，我們需要首

深度學習基礎系列（二）| 常見的Top-1和Top-5有什麽區別？

ack [1] 隨機 排名 array gen spa imp 概率分布 　　在深度學習過程中，會經常看見各成熟網絡模型在ImageNet上的Top-1準確率和Top-5準確率的介紹，如下圖所示： 　　那Top-1 Accuracy和Top-5 Accuracy是指什

深度學習基礎系列（六）| 權重初始化的選擇

初始化 附近 ace back width variable 目的 backend 概率分布 　　深層網絡需要一個優良的權重初始化方案，目的是降低發生梯度爆炸和梯度消失的風險。先解釋下梯度爆炸和梯度消失的原因，假設我們有如下前向傳播路徑： 　　a1 = w1x + b1　　

深度學習基礎系列（九）| Dropout VS Batch Normalization? 是時候放棄Dropout了 深度學習基礎系列（七）| Batch Normalization

　　Dropout是過去幾年非常流行的正則化技術，可有效防止過擬合的發生。但從深度學習的發展趨勢看，Batch Normalizaton(簡稱BN)正在逐步取代Dropout技術，特別是在卷積層。本文將首先引入Dropout的原理和實現，然後觀察現代深度模型Dropout的使用情況，並與BN進行實驗比對，從原

深度學習基礎系列（五）| 深入理解交叉熵函式及其在tensorflow和keras中的實現

　　在統計學中，損失函式是一種衡量損失和錯誤（這種損失與“錯誤地”估計有關，如費用或者裝置的損失）程度的函式。假設某樣本的實際輸出為a，而預計的輸出為y，則y與a之間存在偏差，深度學習的目的即是通過不斷地訓練迭代，使得a越來越接近y，即 a - y →0，而訓練的本質就是尋找損失函式最小值的過程。 　　常見的

深度學習基礎系列（七）| Batch Normalization

　　Batch Normalization（批量標準化，簡稱BN）是近些年來深度學習優化中一個重要的手段。BN能帶來如下優點： 加速訓練過程； 可以使用較大的學習率； 允許在深層網路中使用sigmoid這種易導致梯度消失的啟用函式； 具有輕微地正則化效果，以此可以降低dropout的使用。 　　但為什麼B

深度學習基礎系列（八）| 偏差和方差

　　當我們費勁周章不斷調參來訓練模型時，不可避免地會思考一系列問題，模型好壞的評判標準是什麼？改善模型的依據何在？何時停止訓練為佳？ 　　要解決上述問題，我們需要引入偏差和方差這兩個概念，理解他們很重要，也是後續瞭解過擬合、正則化、提早終止訓練、資料增強等概念和方法的前提。 一、概念定義 偏差（bias）

深度學習基礎系列（九）| Dropout VS Batch Normalization? 是時候放棄Dropout了

　　Dropout是過去幾年非常流行的正則化技術，可有效防止過擬合的發生。但從深度學習的發展趨勢看，Batch Normalizaton(簡稱BN)正在逐步取代Dropout技術，特別是在卷積層。本文將首先引入Dropout的原理和實現，然後觀察現代深度模型Dropout的使用情況，並與BN進行實驗比對，從原

深度學習基礎系列（四）之 sklearn SVM

1、背景 1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出 1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，並在199

python基礎教程（十一）

list repeat stop row lis flatten ror 教程 [1] 叠代器 本節進行叠代器的討論。只討論一個特殊方法---- __iter__ ，這個方法是叠代器規則的基礎。 叠代器規則 叠代的意思是重復做一些事很多次---就像在循環中做的

Spark學習之路 （十一）SparkCore的調優之Spark內存模型

精準 規模 memory 此外 結構定義 申請 管理方式 存儲 內部 摘抄自：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index

Java基礎入門（十一）之基本數據包裝類以及簡單轉換

數據包 intvalue nbsp 1.5 lse false 永遠 ring jdk 一、 基本數據類型包裝類 引用數據類型一般為基本數據類型首字母大寫，除了int 、char,其中int的引用數據類型類Integer,char的引用數據類型為Character 關

Android 常用開源框架源碼解析 系列 （十一）picasso 圖片框架

hand 需求 trim cor pan setname github ESS true 一、前言 Picasso 強大的圖片加載緩存框架 api加載方式和Glide 類似，均是通過鏈式調用的方式進行調用 1.1、作用 Picasso 管理整個圖片加載、轉換、緩存

Kubernetes學習之路（十一）之資源清單定義

map latest dem kubectl 服務發現 bject 均衡 ima limit 一、Kubernetes常用資源 以下列舉的內容都是 kubernetes 中的 Object，這些對象都可以在 yaml 文件中作為一種 API 類型來配置。 類別 名稱

EF6基礎系列（十一)---EF6中的異步查詢和異步保存

chang 執行過程 fin .cn state 徹底 www. sch 查詢 EF6中的異步查詢和異步保存 在.NET4.5中介紹了異步操作，異步操作在EF中也很有用，在EF6中我們可以使用DbContext的實例進行異步查詢和異步保存。 1.異步查詢 下邊是一個通

PHP基礎知識（十一）

PHP字串處理 一、單雙引號字串： 　　1、單引號字串：前處理器會直接對單個字元進行處理。 　　2、雙引號字串：前處理器會對字串進行預處理。將變數、轉義字元等處理。 　　雙引號會花費前處理器進行處理的時間，所以應該儘量多使用單引號。 　　雙引號來處理字串時，應該將變數用{$ }格式來寫。 二、字串

劍指offer系列（十一）二叉搜尋樹與雙向連結串列， 字串的排序

二叉搜尋樹與雙向連結串列 題目描述 輸入一棵二叉搜尋樹，將該二叉搜尋樹轉換成一個排序的雙向連結串列。要求不能建立任何新的結點，只能調整樹中結點指標的指向。 解題思路： 由於輸入的一個二叉搜尋樹，其左子樹小於右子樹的值，這位後面的排序做了準備，因為只需要中序遍歷即可，將所有 的節點儲存

linux系列（十一）：nl命令

調整 寫到 實例 空行 格式 指定格式 指定 所有 tab 1、命令格式： 　　nl [選項] [文件] 2、命令功能： 　　nl(Number of Lines) 將指定的文件添加行號標註後寫到標準輸出。如果不指定文件或指定文件為"-" ，程序將從標準輸入讀取數據。