Tensorflow 提供了一種統一的格式來儲存資料，這個格式就是TFRecord,上一篇部落格中所提到的方法當資料的來源更復雜，每個樣例中的資訊更豐富的時候就很難有效的記錄輸入資料中的資訊了，於是Tensorflow提供了TFRecord來統一儲存資料，接下來我們就來介紹如何使用TFRecord來同意輸入資料的格式。

1. TFRecord格式介紹

TFRecord檔案中的資料是通過tf.train.Example Protocol Buffer的格式儲存的，下面是tf.train.Example的定義

message Example {
 Features features = 1
 
;
};

message Features{
 map<string,Feature> featrue = 1;
};

message Feature{
    oneof kind{
        BytesList bytes_list = 1;
        FloatList float_list = 2;
        Int64List int64_list = 3;
    }
};

從上述程式碼可以看到，ft.train.Example 的資料結構相對簡潔。tf.train.Example中包含了一個從屬性名稱到取值的字典，其中屬性名稱為一個字串，屬性的取值可以為字串（BytesList ），實數列表（FloatList ）或整數列表（Int64List ）。例如我們可以將解碼前的圖片作為字串，影象對應的類別標號作為整數列表。

2. 將自己的資料轉化為TFRecord格式

準備資料

在上一篇部落格中，我們為了像偉大的MNIST致敬，所以選擇影象的字首來進行不同類別的分類依據，但是大多數的情況下，在進行分類任務的過程中，不同的類別都會放在不同的資料夾下，而且類別的個數往往浮動性又很大，所以針對這樣的情況，我們現在利用不同類別在不同資料夾中的影象來生成TFRecord.

我們在Iris&Contact這個資料夾下有兩個資料夾，分別為iris,contact。對於每個資料夾中存放的是對應的圖片

轉換資料

資料準備好以後，就開始準備生成TFRecord,具體程式碼如下：

import
 
 os 
import tensorflow as tf 
from PIL import Image  
import matplotlib.pyplot as plt 

cwd='/home/ruyiwei/Documents/Iris&Contact/'
classes={'iris','contact'} 
writer= tf.python_io.TFRecordWriter("iris_contact.tfrecords") 

for index,name in enumerate(classes):
    class_path=cwd+name+'/'
    for img_name in os.listdir(class_path): 
        img_path=class_path+img_name 
        img=Image.open(img_path)
        img= img.resize((512,80))
        img_raw=img.tobytes()
        #plt.imshow(img) # if you want to check you image,please delete '#'
        #plt.show()
        example = tf.train.Example(features=tf.train.Features(feature={
            "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),
            'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))
        })) 
        writer.write(example.SerializeToString()) 

writer.close()

3. Tensorflow從TFRecord中讀取資料

def read_and_decode(filename): # read iris_contact.tfrecords
    filename_queue = tf.train.string_input_producer([filename])# create a queue

    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)#return file_name and file
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([], tf.int64),
                                           'img_raw' : tf.FixedLenFeature([], tf.string),
                                       })#return image and label

    img = tf.decode_raw(features['img_raw'], tf.uint8)
    img = tf.reshape(img, [512, 80, 3])  #reshape image to 512*80*3
    img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #throw img tensor
    label = tf.cast(features['label'], tf.int32) #throw label tensor
    return img, label

4. 將TFRecord中的資料儲存為圖片

filename_queue = tf.train.string_input_producer(["iris_contact.tfrecords"]) 
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)   #return file and file_name
features = tf.parse_single_example(serialized_example,
                                   features={
                                       'label': tf.FixedLenFeature([], tf.int64),
                                       'img_raw' : tf.FixedLenFeature([], tf.string),
                                   })  
image = tf.decode_raw(features['img_raw'], tf.uint8)
image = tf.reshape(image, [512, 80, 3])
label = tf.cast(features['label'], tf.int32)
with tf.Session() as sess: 
    init_op = tf.initialize_all_variables()
    sess.run(init_op)
    coord=tf.train.Coordinator()
    threads= tf.train.start_queue_runners(coord=coord)
    for i in range(20):
        example, l = sess.run([image,label])#take out image and label
        img=Image.fromarray(example, 'RGB')
        img.save(cwd+str(i)+'_''Label_'+str(l)+'.jpg')#save image
        print(example, l)
    coord.request_stop()
    coord.join(threads)