本文對比介紹了兩種Tensorflow針對大資料集的資料讀取方法，具體來說是：

方法1：tf.train.slice_input_producer+流水線（這裡用這個API指代這一類，其實還有其他的API）。

方法2：Dataset方法，據說是Tensorflow 1.3版本之後引入的新API。使用起來比方法1更方便直觀。

關於這兩種方法的具體介紹，這裡不再贅述，建議參考何之源的這兩篇文章：

https://zhuanlan.zhihu.com/p/27238630

https://zhuanlan.zhihu.com/p/30751039

下面針對一組簡單的示例資料集，分別用這兩種方法實現資料讀取，以進行對比學習。

資料集非常簡單，就是下面這三張jpg圖片檔名分別為：a.jpg, b.jpg, c.jpg。來源是何之源新書《21個專案玩轉深度學習——基於TensorFlow的實踐詳解》第二章。

注意，這三張圖片的解析度不同，稍後會提到，這是使用中需要注意的一點。我們的目的是使用上述兩種方法把這三張圖分批讀入。

方法1，程式碼如下：

# coding:utf-8
# blog.csdn.net/foreseerwang
# QQ: 50834

import tensorflow as tf
import numpy as np

def _parse_function(filename, label):
  image_string = tf.read_file(filename)
  image_decoded = tf.image.decode_jpeg(image_string, channels=3)
  image_resized = tf.image.resize_images(image_decoded,
                  tf.convert_to_tensor([28, 28], dtype=tf.int32))
  return image_resized, label

filename = ['A.jpg', 'B.jpg', 'C.jpg']
labels = [1,2,3]

images_tensor = tf.convert_to_tensor(filename, dtype=tf.string)
labels_tensor = tf.convert_to_tensor([1,2,3], dtype=tf.int64)
file_queue = tf.train.slice_input_producer([images_tensor, labels_tensor], num_epochs=1)

filenames = file_queue[0]
labels = file_queue[1]
image_resized, labels = _parse_function(filenames, labels)

value = tf.train.shuffle_batch([image_resized, labels], batch_size=2, capacity=5000,
                       min_after_dequeue=1000)

batNum = 0
with tf.Session() as sess:
    tf.local_variables_initializer().run()

    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)

    try:
        while not coord.should_stop():
            image_data = sess.run(value)
            batNum += 1
            print('** Batch %d' % batNum)
            print(image_data[0].shape)
            print(image_data[1])
            print('\n')

    except tf.errors.OutOfRangeError:
        print('end!')

    finally:
        coord.request_stop()

    coord.join(threads)

 

輸出：

** Batch 1
(2, 28, 28, 3)
[1 3]

end!

注意，這裡有個問題：一共3張圖片，要求每個batch有兩張，因為3不能被2整除，最後剩下一張圖片，沒能輸出。

方法2，程式碼如下：

# coding:utf-8
# blog.csdn.net/foreseerwang
# QQ: 50834

import tensorflow as tf

def _parse_function(filename, label):
  image_string = tf.read_file(filename)
  image_decoded = tf.image.decode_jpeg(image_string, channels=3)
  image_resized = tf.image.resize_images(image_decoded,
                  tf.convert_to_tensor([28, 28], dtype=tf.int32))
  return image_resized, label

filename = ['A.jpg', 'B.jpg', 'C.jpg']
labels = [1,2,3]

filename_tensor = tf.convert_to_tensor(filename, dtype=tf.string)
labels_tensor = tf.convert_to_tensor(labels, dtype=tf.int64)

dataset = tf.contrib.data.Dataset.from_tensor_slices((filename_tensor, labels_tensor))
dataset = dataset.map(_parse_function)

dataset = dataset.shuffle(buffer_size=10).batch(2).repeat(1)

iterator = dataset.make_one_shot_iterator()
one_batch = iterator.get_next()

batNum = 0
with tf.Session() as sess:
    try:
        while True:
            databatch = sess.run(one_batch)
            batNum += 1
            print('** Batch %d' % batNum)
            print(databatch[0].shape)
            print(databatch[1])
            print('\n')
            
    except tf.errors.OutOfRangeError:
            print("end!")
 

輸出（因為有shuffle，每次執行結果可能不同）：

** Batch 1
(2, 28, 28, 3)
[1 3]

** Batch 2
(1, 28, 28, 3)
[2]

end!

這裡就看到方法2的優勢了，都是3張圖片，按照每個batch 2張輸出，Dataset方法就可以把所有資料都輸出，最後一點殘餘都不剩下。

這些程式碼都比較簡單，就不進一步解讀了。需要說明的是：

1. 以上程式碼均在Tensorflow 1.3版本下執行通過。據說在1.4版本以後，Dataset API被提高了層級，變為：tf.data.Dataset，在使用中還請注意。

2. 上面_parse_function()子函式中的tf.image.resize_images操作是必需的，必須把所有圖片修改為相同尺寸，否則在進行batch操作時會出錯。當然，要求是每個batch裡的資料維度必須相同，如果batch_size=1，那可以不進行圖片resize。

3. _parse_function()子函式其實是一個通用模組，在實際應用中根據需要完全可能是其它更復雜的資料讀取和處理過程。

通過以上程式碼可以看出，方法2 Dataset方法起碼具有如下兩個優勢：

1. 不用進行復雜的流水線管理，沒有coord/threads那些語句，應該是系統內自動管理了；

2. 可以把資料集完整的送出來，而不會留下因為資料條數無法對batch_size整除而剩下的尾巴資料（我不確定是否有什麼方法可以解決這個問題，如有人知道，還請指教。謝謝！）。