最簡單的tensorflow的手寫識別模型，這一節我們將會介紹其簡單的優化模型。我們會從代價函式，多層感知器，防止過擬合，以及優化器的等幾個方面來介紹優化過程。

   1.代價函式的優化：

            我們可以這樣將代價函式理解為真實值與預測值的差距，我們神經網路訓練的目的就是調整W,b等引數來讓這個代價函式的值最小。上一節我們用到的是二次代價函式：

在TensorFlow中的實現為：loss = tf.reduce_mean(tf.square(y-prediction))，但是這個代價函式會帶來一定的問題，比如說剛開始學習的會很慢。我們知道神經網路的學習是通過梯度的反向傳播來更新引數W,b的：

但是我們的sigmoid啟用函式為：

當z很大的時候，例如在B點時，σ'(z)即改點切線的斜率將會很小，導致W,b的梯度很小，神經網路更新的將會很慢。為了解決這個問題，這一節我們將會引入交叉熵代價函式：

其中C為代價函式，x為樣本，y為實際值，a為預測值，n為樣本總數。

 我們先來觀察一下這個代價函式:

當實際值y=1時，C= -1/n *∑ylna,    此時當a->1時，C->0    ,當a->0時C->無窮大

當實際值y=0時，C=-1/n *∑ln(1-a)  此時當a->1時，C->無窮大  ,當a->0時C->0

可以發現當預測值a=實際值y時，這個代價函式將會最小。

接下來我們對其求梯度得：

可以發現其對於W,b的梯度是與σ'(z)無關的，不會因為Z過大引起學習過慢的問題，而且我們發現W,b的梯度與σ(z)-y有關，而這個差值就是預測值與真實值的差值，也就是說當預測值與真實值的偏差很大時，神經網路的更新會很快，當預測值與真實值的偏差很小時，神經網路的更新會減慢，這恰恰符合了我們神經網路的更新策略。因此我們將會用

交叉熵代價函式來代替二次代價函式。 程式碼如下：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 載入資料集
# 當前路徑
mnist = input_data.read_data_sets("MNISt_data", one_hot=True)
# 每個批次的大小
# 以矩陣的形式放進去
batch_size = 100
# 計算一共有多少個批次
n_batch = mnist.train.num_examples // batch_size

# 定義三個placeholder
# 28 x 28 = 784
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])
keep_prob = tf.placeholder(tf.float32)
# 學習率
lr = tf.Variable(0.001, dtype=tf.float32)

# 建立一個的神經網路
# 輸入層784，隱藏層一500，隱藏層二300，輸出層10個神經元
# 隱藏層
W1 = tf.Variable(tf.truncated_normal([784, 500], stddev=0.1))
b1 = tf.Variable(tf.zeros([500]) + 0.1)
L1 = tf.nn.tanh(tf.matmul(x, W1) + b1)
L1_drop = tf.nn.dropout(L1, keep_prob)

W2 = tf.Variable(tf.truncated_normal([500, 300], stddev=0.1))
b2 = tf.Variable(tf.zeros([300]) + 0.1)
L2 = tf.nn.tanh(tf.matmul(L1_drop, W2) + b2)
L2_drop = tf.nn.dropout(L2, keep_prob)

W3 = tf.Variable(tf.truncated_normal([300, 10], stddev=0.1))
b3 = tf.Variable(tf.zeros([10]) + 0.1)
prediction = tf.nn.softmax(tf.matmul(L2_drop, W3) + b3)

# 交叉熵代價函式
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))

# 訓練
train_step = tf.train.AdamOptimizer(lr).minimize(loss)

# 初始化變數
init = tf.global_variables_initializer()

# 結果存放在一個布林型列表中
# tf.argmax(y, 1)與tf.argmax(prediction, 1)相同返回True,不同則返回False
# argmax返回一維張量中最大的值所在的位置
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))

# 求準確率
# tf.cast(correct_prediction, tf.float32) 將布林型轉換為浮點型
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

with tf.Session() as sess:
    sess.run(init)
    # 總共51個週期
    for epoch in range(51):
        # 剛開始學習率比較大，後來慢慢變小
        sess.run(tf.assign(lr, 0.001 * (0.95 ** epoch)))
        # 總共n_batch個批次
        for batch in range(n_batch):
            # 獲得一個批次
            batch_xs, batch_ys = mnist.train.next_batch(batch_size)
            sess.run(train_step, feed_dict={x: batch_xs, y: batch_ys, keep_prob: 1.0})

        learning_rate = sess.run(lr)
        # 訓練完一個週期後測試資料準確率
        acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels, keep_prob: 1.0})
        print("Iter" + str(epoch) + ", Testing Accuracy" + str(acc) + ", Learning_rate" + str(learning_rate))