之前使用的深度學習框架一直是Keras，Keras的高階封裝特性讓人們十分容易理解並上手。不過有些時候，由於keras過於封裝，反而使得有些時候不能靈活運用。這時候更底層一些的TensorFlow就體現出優勢來了。另外，大家知道，keras的底層後端有Theano和TensorFlow兩種，如果想要自己實現一個自定義層，就需要呼叫後端介面實現了。

基於此，最近開始學習一些TensorFlow的知識，因此就在此記錄一下學習過程和使用心得吧。

TensorFlow的安裝教程網上可以搜到一大堆，我在此就不在贅述了。在安裝好TensorFlow和相應的依賴包、加速包CUDA等之後，就可以愉快地開始TensorFlow學習與使用啦~~~~

我使用的TensorFlow版本是1.0.1版本，因此一些使用舊版本0.x的需要注意一些函式和介面的變化。

接下來就開始TensorFlow的學習旅程吧，本文只是前期的一些入門知識總結，接下來會陸續寫一些關於TensorFlow的例項。

1.TensorFlow計算模型——計算圖

計算圖是TensorFlow中最基本的一個概念，TensorFlow中的所有計算都會被轉化為計算圖上的節點。

TensorFlow程式一般分為兩個階段。在第一個階段需要定義計算圖中所有的計算，第二個階段為執行計算，得到計算結果。

在TensorFlow程式中，系統會自動維護一個預設的計算圖，通過tf.get_default_graph函式可以獲取當前預設的計算圖。除了使用預設的計算圖外，TensorFlow支援通過tf.Graph函式來生成新的計算圖，不同計算圖上的張量和執行都不會共享

下面是一個生成計算圖並定義變數的程式碼：

import tensorflow as tf

g = tf.Graph()

with g.as_default():

#在計算圖中定義變數“v”，並設定初始值為0

v = tf.get_variable("v", initializer = tf.zeros_initializer(shape=[1]))

TensorFlow中的計算圖不僅可以用來隔離張量和計算，它還提供了管理張量和計算的機制。計算圖可以通過tf.Graph.device函式來指定執行計算的裝置，這為TensorFlow使用GPU提供了機制。

g = tf.Graph()

#指定計算執行的裝置

with g.device('/gpu:0'):

result = a + b

2.TensorFlow資料模型——張量

張量（tensor）是TensorFlow管理資料的形式，在TensorFlow所有程式中，所有的資料都是通過張量的形式來表示。從功能的角度上來看，張量可以被簡單理解為多維陣列。其中零階張量表示標量，也就是一個數；一階張量表示一個向量，也就是一個一維陣列；n階張量可以理解為一個n維陣列。但張量在TensorFlow中的實現並不是直接採用陣列的形式，它只是對TensorFlow中運算結果的引用。在張量中並沒有真正儲存數字，它儲存的是如何得到這些數字的計算過程。

張量主要有三個屬性：名字（name）、維度（shape）和型別（type）。如：Tensor("add:0", shape=(2,), dtype=float32)

張量的名字不僅是一個張量的唯一識別符號，同樣也給出了這個張量是如何計算出來的。張量的命名通過“node:src_output”的形式給出，其中node為結點的名稱，src_output表示當前張量來自結點的第幾個輸出。如上面的"add:0"表明這個張量是計算節點"add"輸出的第一個結果。

張量的維度描述了張量的維度資訊，如上面的“shape=(2,)”說明這個張量是一個一維陣列，陣列長度為2。TensorFlow程式中維度的對應是一個需要十分注意的地方。

張量的型別表明了資料的型別，TensorFlow會對參與運算的所有張量進行型別檢查，當發現型別不匹配時會報錯。主要有以下14種類型：tf.int8,tf.int16,tf.int32,tf.int64,tf.uint8,tf.float32,tf.float64,tf.bool,tf.complex64,tf.complex128.

張量的使用：

第一類用途是對中間運算結果的引用，如：

#使用張量記錄中間結果

a = tf.constant([1.0, 2.0], name = "a")

b = tf.constant([2.0, 3.0], name = "b")

c = a + b

可以使用c.get_shape函式來獲取結果張量的維度資訊

張量的第二類使用情況是當計算圖構造完成之後，張量可以用來獲得計算結果，也就是得到真實的數字。可以使用tf.Session().run(c)語句得到計算結果。

3.TensorFlow執行模型——會話

TensorFlow中使用會話（session）來執行定義好的運算。會話擁有並管理TensorFlow程式執行時的所有資源。

TensorFlow中使用會話的模式有兩種，第一種模式需要明確呼叫會話生成函式和關閉會話函式，程式碼流程如下：

#建立一個會話

sess = tf.Session()

#使用會話進行運算

sess.run(...)

#關閉會話

sess.close()

上面這種模式在所有計算完成之後需要明確呼叫Session.close()函式來關閉會話並釋放資源。如果程式因為異常而退出，則會導致會話未關閉而資源洩露。因此，為了解決異常退出時資源釋放的問題，可以通過Python的上下文管理器來使用會話，這就是第二種模式，程式碼流程如下：

#建立一個會話

with tf.Session() as sess:

#使用這個會話進行運算，下面兩個命令有相同的功能

sess.run(rusult)

result.eval()

通過上面的學習，在瞭解了TensorFlow的一些基本概念之後，接下來就用一個例項來親身體驗一下吧。

用TensorFlow實現神經網路，主要分為以下3個步驟：

1）定義神經網路的結構和前向傳播的輸出結果

2）定義損失函式以及選擇方向傳播優化演算法

3）生成會話並在訓練資料上反覆執行反向傳播優化演算法

具體程式碼如下：

import tensorflow as tf

from numpy.random import RandomState

#定義訓練資料batch的大小
batch_size = 8

#定義神經網路的引數
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
bias1 = tf.Variable(tf.random_normal([3], stddev=1, seed=1))
bias2 = tf.Variable(tf.random_normal([1], stddev=1, seed=1))

在shape的一個維度上使用None可以方便使用不大的batch大小
x = tf.placeholder(tf.float32, shape=(None, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-input')

#定義神經網路前向傳播的過程
# a = tf.matmul(x, w1)
# y = tf.matmul(a, w2)

a = tf.nn.relu(tf.matmul(x, w1) + bias1)
y = tf.nn.relu(tf.matmul(a, w2) + bias2)

#定義損失函式和反向傳播演算法
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))#交叉熵損失函式
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)#梯度下降優化演算法

#produce the data，通過隨機數生成一個模擬資料集
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[int(x1 + x2 < 1)] for (x1, x2) in X]

#creare a session，建立一個會話來執行TensorFlow程式
with tf.Session() as sess:
    #init all variable，初始化變數
    init_op = tf.initialize_all_variables()
    sess.run(init_op)
    #訓練之前檢視w1和w2的值
    print sess.run(w1)
    print sess.run(w2)
    #設定訓練的輪數
    STEPS = 5000
    for i in range(STEPS):
        #get batch_size samples data to train，每次選取batch_size個樣本進行訓練
        start = (i * batch_size) % dataset_size
        end = min(start + batch_size, dataset_size)

        #通過選取的樣本訓練神經網路並更新引數
        sess.run(train_step, feed_dict = {x : X[start : end], y_ : Y[start : end]})
        if i % 1000 == 0:#每隔一段時間計算在所有資料上的交叉熵並輸出
            total_cross_entropy = sess.run(cross_entropy, feed_dict={x : X, y_ : Y})
            print ("After %d training steps, cross_entropy on all data is %g" %(i, total_cross_entropy))
    #在訓練結束之後，輸出神經網路的引數
    print sess.run(w1)
    print sess.run(w2)