先聊一下tfrecord, 這是一種將影象資料和標籤放在一起的二進位制檔案，能更好的利用記憶體，TFRecords是TensorFlow中的設計的一種內建的檔案格式，優點有如下幾種：

• 統一不同輸入檔案的框架
• 它是更好的利用記憶體，更方便複製和移動（TFRecord壓縮的二進位制檔案, protocal buffer序列化）
• 是用於將二進位制資料和標籤（訓練的類別標籤）資料儲存在同一個檔案中

一、TFRecords儲存

在將其他資料儲存為TFRecords檔案的時候，需要經過兩個步驟：

• 建立TFRecord儲存器
• 構造每個樣本的Example模組

1、建立TFRecord儲存器

tf.python_io.TFRecordWriter(path)

• 寫入tfrecords檔案
• path : TFRecords檔案的路徑
• return : 寫檔案
• 方法: 
  
  • write（record):向檔案中寫入一個字串記錄（即一個樣本）
  • close() : 關閉檔案寫入器

注：此處的字串為一個序列化的Example,通過Example.SerializeToString()來實現，它的作用是將Example中的map壓縮為二進位制，節約大量空間。

2、構造每個樣本的Example協議塊

message Example {
  Features features = 1;
};

message Features {
  map<string, Feature>
 
 feature = 1;
};

message Feature {
  oneof kind {
    BytesList bytes_list = 1;
    FloatList float_list = 2;
    Int64List int64_list = 3;
  }
};

上面這段程式碼即為Example協議塊的規則，詳解如下： 
（1）tf.train.Example(features = None)

• 寫入tfrecords檔案
• features ： tf.train.Features型別的特徵例項
• return ： example協議格式塊

（2）tf.train.Features(feature = None)

• 構造每個樣本的資訊鍵值對
• feature : 字典資料，key為要儲存的名字，value為tf.train.Feature例項
• return ： Features型別

（3）tf.train.Feature(**options) 
options可以選擇如下三種格式資料：

• bytes_list = tf.train.BytesList(value = [Bytes])
• int64_list = tf.train.Int64List(value = [Value])
• float_list = tf.trian.FloatList(value = [Value])

(4)將圖片資料轉化為TFRecords的例子： 
對每一個樣本，都做如下的處理：

example = tf.train.Example(feature = tf.train.Features(feature = {
                            "image":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image(bytes)]))
                             "label":tf.train.Feature(int64_list=tf.train.Int64List(value=[label(int)]))
    }))

• 二、TFRecords讀取方法

1.流程：

和檔案閱讀器的流程基本相同，只是中間多了一步解析過程

2.解析TFRecords的example協議記憶體塊：

（1）tf.parse_single_example(serialized,features=None,name= None

• 解析一個單一的Example原型
• serialized : 標量字串的Tensor，一個序列化的Example,檔案經過檔案閱讀器之後的value
• features :字典資料，key為讀取的名字，value為FixedLenFeature
• return : 一個鍵值對組成的字典，鍵為讀取的名字

（2）tf.FixedLenFeature(shape,dtype)

• shape : 輸入資料的形狀，一般不指定，為空列表
• dtype : 輸入資料型別，與儲存進檔案的型別要一致，型別只能是float32，int 64, string
• return : Tensor (即使有零的部分也儲存）

（3）上面（1）中features中的value還可以為tf.VarLenFeature(),但是這種方式用的比較少，它返回的是SparseTensor資料，這是一種只儲存非零部分的資料格式，瞭解即可。

三、程式碼實現

1.將CSV檔案轉化為TFRecords檔案

import tensorflow as tf
import numpy as np
import pandas as pd

train_frame = pd.read_csv("train.csv")
print(train_frame.head())
train_labels_frame = train_frame.pop(item="label")
train_values = train_frame.values
train_labels = train_labels_frame.values
print("values shape: ", train_values.shape)
print("labels shape:", train_labels.shape)

writer = tf.python_io.TFRecordWriter("csv_train.tfrecords")

for i in range(train_values.shape[0]):
    image_raw = train_values[i].tostring()
    example = tf.train.Example(
        features=tf.train.Features(
            feature={
                "image_raw": tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_raw])),
                "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[train_labels[i]]))
            }
        )
    )
    writer.write(record=example.SerializeToString())

writer.close()

2.將圖片檔案轉化為TFRecords檔案

import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import numpy as np
import tensorflow as tf
import pandas as pd

def get_label_from_filename(filename):
    return 1

filenames = tf.train.match_filenames_once('.\data\*.png')

writer = tf.python_io.TFRecordWriter('png_train.tfrecords')

for filename in filenames:
    img=mpimg.imread(filename)
    print("{} shape is {}".format(filename, img.shape))
    img_raw = img.tostring()
    label = get_label_from_filename(filename)
    example = tf.train.Example(
        features=tf.train.Features(
            feature={
                "image_raw": tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_raw])),
                "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[label]))
            }
        )
    )
    writer.write(record=example.SerializeToString())

writer.close()

3.將二進位制檔案轉化為TFRecords檔案

"""
讀取二進位制檔案轉換成張量，寫進TFRecords,同時讀取TFRcords
"""

#命令列引數
FLAGS = tf.app.flags.FLAGS       #獲取值
tf.app.flags.DEFINE_string("tfrecord_dir","./tmp/cifar10.tfrecords","寫入圖片資料檔案的檔名")


#讀取二進位制轉換檔案
class CifarRead(object):
    """
    讀取二進位制檔案轉換成張量，寫進TFRecords,同時讀取TFRcords
    """
    def __init__(self,file_list):
        """
        初始化圖片引數
        :param file_list:圖片的路徑名稱列表
        """

        #檔案列表
        self.file_list = file_list

        #圖片大小，二進位制檔案位元組數
        self.height = 32
        self.width = 32
        self.channel = 3
        self.label_bytes = 1
        self.image_bytes = self.height * self.width * self.channel
        self.bytes = self.label_bytes + self.image_bytes


    def read_and_decode(self):
        """
        解析二進位制檔案到張量
        :return: 批處理的image,label張量
        """
        #1.構造檔案佇列
        file_queue = tf.train.string_input_producer(self.file_list)

        #2.閱讀器讀取內容
        reader = tf.FixedLengthRecordReader(self.bytes)

        key ,value = reader.read(file_queue)    #key為檔名，value為元組

        print(value)

        #3.進行解碼，處理格式
        label_image = tf.decode_raw(value,tf.uint8)
        print(label_image)

        #處理格式，image，label
        #進行切片處理，標籤值
        #tf.cast()函式是轉換資料格式，此處是將label二進位制資料轉換成int32格式
        label = tf.cast(tf.slice(label_image,[0],[self.label_bytes]),tf.int32)

        #處理圖片資料
        image = tf.slice(label_image,[self.label_bytes],[self.image_bytes])
        print(image)

        #處理圖片的形狀，提供給批處理
        #因為image的形狀已經固定，此處形狀用動態形狀來改變
        image_tensor = tf.reshape(image,[self.height,self.width,self.channel])
        print(image_tensor)

        #批處理圖片資料
        image_batch,label_batch = tf.train.batch([image_tensor,label],batch_size=10,num_threads=1,capacity=10)

        return image_batch,label_batch

    def write_to_tfrecords(self,image_batch,label_batch):
        """
        將檔案寫入到TFRecords檔案中
        :param image_batch:
        :param label_batch:
        :return:
        """

        #建立TFRecords檔案儲存器
        writer = tf.python_io.TFRecordWriter(FLAGS.tfrecord_dir)      #傳進去命令列引數

        #迴圈取出每個樣本的值，構造example協議塊
        for i in range(10):

            #取出圖片的值，  #寫進去的是值，而不是tensor型別，
            # 寫入example需要bytes檔案格式，將tensor轉化為bytes用tostring()來轉化
            image = image_batch[i].eval().tostring()

            #取出標籤值，寫入example中需要使用int形式，所以需要強制轉換int
            label = int(label_batch[i].eval()[0])

            #構造每個樣本的example協議塊
            example = tf.train.Example(features = tf.train.Features(feature = {
                "image":tf.train.Feature(bytes_list = tf.train.BytesList(value = [image])),
                "label":tf.train.Feature(int64_list = tf.train.Int64List(value = [label]))
            }))

            #寫進去序列化後的值
            writer.write(example.SerializeToString())     #此處其實是將其壓縮成一個二進位制資料

        writer.close()

        return None



    def read_from_tfrecords(self):
        """
        從TFRecords檔案當中讀取圖片資料（解析example)
        :param self:
        :return: image_batch,label_batch
        """

        #1.構造檔案佇列
        file_queue = tf.train.string_input_producer([FLAGS.tfrecord_dir])    #引數為檔名列表

        #2.構造閱讀器
        reader = tf.TFRecordReader()

        key,value = reader.read(file_queue)

        #3.解析協議塊,返回的值是字典
        feature = tf.parse_single_example(value,features={
            "image":tf.FixedLenFeature([],tf.string),
            "label":tf.FixedLenFeature([],tf.int64)
        })

        #feature["image"],feature["label"]
        #處理標籤資料    ，cast()只能在int和float之間進行轉換
        label = tf.cast(feature["label"],tf.int32)    #將資料型別int64 轉換為int32

        #處理圖片資料，由於是一個string,要進行解碼，  #將位元組轉換為數字向量表示，位元組為一字串型別的張量
        #如果之前用了tostring(),那麼必須要用decode_raw()轉換為最初的int型別
        # decode_raw()可以將資料從string,bytes轉換為int，float型別的
        image = tf.decode_raw(feature["image"],tf.uint8)

        #轉換圖片的形狀，此處需要用動態形狀進行轉換
        image_tensor = tf.reshape(image,[self.height,self.width,self.channel])

        #4.批處理
        image_batch,label_batch = tf.train.batch([image_tensor,label],batch_size=10,num_threads=1,capacity=10)

        return image_batch,label_batch


if __name__ == '__main__':

    # 找到檔案路徑，名字，構造路徑+檔名的列表,"A.csv"...
    # os.listdir() 方法用於返回指定的資料夾包含的檔案或資料夾的名字的列表
    filename = os.listdir('./data/cifar10/cifar-10-batches-bin/')

    #加上路徑
    file_list = [os.path.join('./data/cifar10/cifar-10-batches-bin/', file) for file in filename if file[-3:] == "bin"]

    #初始化引數
    cr = CifarRead(file_list)

    #讀取二進位制檔案
    # image_batch,label_batch = cr.read_and_decode()

    #從已經儲存的TFRecords檔案中解析出原始資料
    image_batch, label_batch = cr.read_from_tfrecords()

    with tf.Session() as sess:
        #執行緒協調器
        coord = tf.train.Coordinator()

        #開啟執行緒
        threads = tf.train.start_queue_runners(sess,coord=coord)

        print(sess.run([image_batch,label_batch]))

        # print("存進TFRecords檔案")
        # cr.write_to_tfrecords(image_batch,label_batch)
        # print("存進檔案完畢")

        #回收執行緒
        coord.request_stop()
        coord.join(threads)

• 注：

上段程式碼分為兩個部分：

• 第一部分是被註釋掉的幾行程式碼，表示的是將二進位制檔案轉化為張量，並經過Example協議儲存到TFRecords檔案當中；
• 第二部分是從已經儲存好資料資訊的TFRecords檔案中，經過解析，轉化為最初的二進位制檔案。

參考地址：https://blog.csdn.net/chengshuhao1991/article/details/78656724