勿滿足於眼前的小小成就。你要問自己，我這輩子只有這樣嗎。

VGGNet 是牛津大學計算機視覺組（ Visual Geometry Group〉和 Google DeepMind公司的研究員一起研發的的深度卷積神經網路。VGGNet探索了卷積神經網路的深度與其效能之間的關係，通過反覆堆疊3x3的小型卷積核和2x2的晟大池化層，VGGNet成功地
構築了 16~19層深的卷積神經網路。VGGNet相比之前state-of-the-art的網路結相，錯誤率大幅下降，並取得了 ILSVRC 2014比賽分類專案的第2名和定位專案的第1名，同時VGGNct的拓展性很強，遷移到其他圖片資料上的泛化性非常好。VGGNet的結構非常簡潔，整個網路都使用了同樣大小的卷積核尺寸（3x3)和最大池化尺寸（2x2)。到目前為止，VGGNet依然經常被甩來提取影象特徵。VGGNel訓練後的模型引數在其官方網站上開源了，可用來在domain_specific的影象分類任務上進行再訓練（相當於提供了非常好的初始化權重)，因此被用在了很多地方。

作者在對比各級網路時總結了一下觀點：

1. LRN層作用不大
2. 越深的網路效果越好
3. 1X1的卷積也是很有效的，但是沒有3X3的卷積好，大一些的卷積核可以學習更大的空間特徵

VGGNet訓練時使用了 4塊Geforce GTX Titan GPU平行計算，速度比單塊GPU快3.75倍，幾乎沒有太多效能損耗。但是，每個網路耗時2〜3周才可以訓練完。因此我們這裡不直接使用mageNet資料訓練一個VGGNet,而是採用跟AlexNet —樣的方式：構
造出VGGNet網路結構，並評測其forward (inference )耗時和backward (training)耗時。

我們要實現的是VGGNet-16,首先需要匯入幾個常用庫

from datetime import datetime
import math
import time
import tensorflow as tf

定義 一個函式用來建立卷積層並把本層的引數存入引數列表。input_op是輸入的tensor，name是這一層的名稱，kw，kh是卷積核的寬高,n_out是輸出通道數，dw,dh是步長的寬高，p是引數列表。使用get_shape()[-1].value獲取輸入input_op的通道數，然後使用tf.name_scope()設定scope，使用tf.get_variable建立卷積核引數。

使用tf.contrib.layers.xavier_initializer_conv2d()來做引數初始化

接著使用tf.nn.conv2d對input_op進行卷積處理，卷積核即為kernel,步長是dhXdw，padding模式設為SAME。 biases使用tf.constant賦值為0，再使用tf.Variable將其轉成可訓練的引數。使用tf.nn.bias_add將卷積結果conv與bias相加，再使用tf.nn.rcki對其進行非線性處理得到activation。最後將建立卷積層時用到的引數kernel和biases新增進引數列表P，並將卷積層的輸出activation作為函式結果返回。

def conv_op(input_op, name, kh, kw, n_out, dh, dw, p):
    n_in = input_op.get_shape()[-1].value
    with tf.name_scope(name) as scope:
        kernel = tf.get_variable(scope + "w", shape=[kh, kw, n_in, n_out], dtype=tf.float32,
                                 initializer=tf.contrib.layers.xavier_initializer_conv2d())
        conv = tf.nn.conv2d(input_op, kernel, (1, dh, dw, 1), padding='SAME')
        bias_init_val = tf.constant(0.0, shape=[n_out], dtype=tf.float32)
        biases = tf.Variable(bias_init_val, trainable=True, name='b')
        z = tf.nn.bias_add(conv, biases)
        activation = tf.nn.relu(z, name=scope)
        p += [kernel, biases]
        return activation

定義全連線層的建立函式fc_op。一樣是先獲取輸入input_op的通道數，然後使用tf.get_variable建立全連撿層的引數，只不過引數的維度只有兩個，第一個維度為輸入的 通 道 數n_in, 第 二 個維度為輸出的通道數n_out,同樣，引數初始化方法也使用xavicr_initiaHzei■。這裡biases不再初始化為0，而是賦予一個較小的値0.1以避免死亡節點。然後使用tf.nn_rclu_layer對輸入變數input_op與kernel做矩陣乘法並加上biases,再做ReLU非線性變換得到activation。最後將這個全連線層用到引數kernel、biases新增到引數P，並將actication作為函式結果返回。

def fc_op(input_op, name, n_out, p):
    n_in = input_op.get_shape()[-1].value
    with tf.name_scope(name) as scope:
        kernel = tf.get_variable(scope + 'w', shape=[n_in, n_out], dtype=tf.float32,
                                 initializer=tf.contrib.layers.xavier_initializer())
        biases = tf.Variable(tf.constant(0.1, shape=[n_out], dtype=tf.float32), name='b')
        activation = tf.nn.relu_layer(input_op, kernel, biases, name=scope)
        p += [kernel, biases]
        return activation

定義最大池化層的建立函式mpool_op，直接使用tf.nn.max_pool，輸入為input_op，池化尺寸為khXkw，步長為dhXdw,padding模式為SAME。

def mpool_op(input_op, name, kh, kw, dh, dw):
    return tf.nn.max_pool(input_op, ksize=[1, kh, kw, 1], strides=[1, dh, dw, 1], padding='SAME', name=name)

開始建立VGGNet-16的網路結構，一共分6個部分，前5個部分是卷積網路，最後一段是全連線網路。

前兩段卷積網路都是由兩個卷積層和一個最大池化層組成。

後三段卷積網路都是由三層卷積網路金和一個最大池化層組成。

這些卷積層的卷積核大小都是3X3，步長都是1X1，輸出通道依次遞增64,54,128,128,256,256,256,512,512,512,512,512,512

池化層的尺寸和步長都為2X2

在第五段之後將輸出結果使用tf.reshape扁平化,連線一個隱含節點數為4096的全連線層，啟用函式為ReLU,再連線一個Dropout層，訓練時節點保留率為0.5,預測時為0.1

再連線一層和前面一樣的全連線和Dropout層

最後連線一個有1000個隱含節點的全連線層，並使用Softmax進行處理得到分類輸出概率，用tf.argmax求出輸出概率最大的類別

def inference_op(input_op, keep_prob):
    p = []

    conv1_1 = conv_op(input_op, name='conv1_1', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)
    conv1_2 = conv_op(conv1_1, name='conv1_2', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)
    pooll = mpool_op(conv1_2, name='pool1', kh=2, kw=2, dw=2, dh=2)

    conv2_1 = conv_op(pooll, name='conv2_1', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)
    conv2_2 = conv_op(conv2_1, name='conv2_2', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)
    pool2 = mpool_op(conv2_2, name='pool2', kh=2, kw=2, dh=2, dw=2)

    conv3_1 = conv_op(pool2, name='conv3_1', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
    conv3_2 = conv_op(conv3_1, name='conv3_2', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
    conv3_3 = conv_op(conv3_2, name='conv3_3', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
    pool3 = mpool_op(conv3_3, name='pool3', kh=2, kw=2, dh=2, dw=2)

    conv4_1 = conv_op(pool3, name='conv4_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv4_2 = conv_op(conv4_1, name='conv4_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv4_3 = conv_op(conv4_2, name='conv4_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    pool4 = mpool_op(conv4_3, name='pool4', kh=2, kw=2, dh=2, dw=2)

    conv5_1 = conv_op(pool4, name='conv5_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv5_2 = conv_op(conv5_1, name='conv5_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv5_3 = conv_op(conv5_2, name='conv5_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    pool5 = mpool_op(conv5_3, name='pool5', kh=2, kw=2, dw=2, dh=2)

    shp = pool5.get_shape()
    flattened_shape = shp[1].value * shp[2].value * shp[3].value
    resh1 = tf.reshape(pool5, [-1, flattened_shape], name='resh1')

    fc6 = fc_op(resh1, name='fc6', n_out=4096, p=p)
    fc6_drop = tf.nn.dropout(fc6, keep_prob, name='fc6_drop')

    fc7 = fc_op(fc6_drop, name='fc7', n_out=4096, p=p)
    fc7_drop = tf.nn.dropout(fc7, keep_prob, name='fc7_drop')

    fc8 = fc_op(fc7_drop, name='fc8', n_out=1000, p=p)
    softmax = tf.nn.softmax(fc8)
    predictions = tf.argmax(softmax, 1)
    return predictions, softmax, fc8, p

定義評測函式，大體上和上一篇文章講的相似，區別在於在session.run()中引入了feed_dict，方便後面傳入keep_prob來控制Dropout層的保留比率。

def time_tensorflow_run(session, target, feed, info_string):
    num_steps_burn_in = 10
    total_duration = 0.0
    total_duration_squared = 0.0
    for i in range(num_batches + num_steps_burn_in):
        start_time = time.time()
        _ = session.run(target, feed_dict=feed)
        duration = time.time() - start_time
        if i >= num_steps_burn_in:
            if not i % 10:
                print('%s: step %d,duration= %.3f' % (datetime.now(), i - num_steps_burn_in, duration))
            total_duration += duration
            total_duration_squared += duration * duration
    mn = total_duration / num_batches
    vr = total_duration_squared / num_batches - mn * mn
    sd = math.sqrt(vr)
    print('%s: %s across %d steps, %.3f +/- %.3f sec/batch' % (datetime.now(), info_string, num_batches, mn, sd))

def run_benchmark():
    with tf.Graph().as_default():
        image_size = 224
        images = tf.Variable(tf.random_normal([batch_size, image_size, image_size, 3], dtype=tf.float32, stddev=1e-1))
        keep_prob = tf.placeholder(tf.float32)
        predictions, softmax, fc8, p = inference_op(images, keep_prob)
        init = tf.global_variables_initializer()
        sess = tf.Session()
        sess.run(init)
        time_tensorflow_run(sess, predictions, {keep_prob: 1.0}, 'Forward')
        objective = tf.nn.l2_loss(fc8)
        grad = tf.gradients(objective, p)
        time_tensorflow_run(sess, grad, {keep_prob: 0.5}, 'Forward-backward')

開始訓練

batch_size = 32
num_batches = 100
run_benchmark()

你跑出來的結果大概是這樣子的，因為我電腦上的GPU不支援GPU加速所以只能使用CPU跑，很慢。如果你想要訓練圖片分類模型可以將裡面隨機生成的圖片資料換成資料集

2018-12-12 19:00:13.613267: step 0,duration= 12.318
2018-12-12 19:02:24.378325: step 10,duration= 11.982
2018-12-12 19:04:16.319532: step 20,duration= 11.173
2018-12-12 19:06:10.084819: step 30,duration= 11.261
2018-12-12 19:08:08.133246: step 40,duration= 12.033
2018-12-12 19:10:03.608293: step 50,duration= 11.531
2018-12-12 19:11:59.739291: step 60,duration= 11.599
2018-12-12 19:14:00.238291: step 70,duration= 12.148
2018-12-12 19:15:59.480806: step 80,duration= 12.508
2018-12-12 19:18:07.685465: step 90,duration= 11.691
2018-12-12 19:19:54.632671: Forward across 100 steps, 11.933 +/- 0.882 sec/batch
2018-12-12 19:26:44.429814: step 0,duration= 37.432
2018-12-12 19:32:56.634669: step 10,duration= 36.793