昨天配置了tensorflow的gpu版本，今天開始簡單的使用一下

主要是看了一下tensorflow的tutorial 裡面的 IMDB 電影評論二分類這個教程

教程裡面主要包括了一下幾個內容：下載IMDB資料集，顯示資料（將陣列轉換回評論文字），準備資料，建立模型（隱層設定，優化器和損失函式的配置），建立一個驗證集，訓練模型，評估模型，顯示訓練精度和損失圖。

程式碼我已經完全上傳到我的github中去了  https://github.com/OnesAlone/deepLearning/blob/master/two_classification_with_movie_review.ipynb

大部分內容均有註釋

下面我簡單介紹一下：

首先匯入需要的工具包，包括tensorflow，keras，numpy，再下載imdb資料集

import tensorflow as tf
from tensorflow import keras
import numpy as np

imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

　　下載完成後可以用

len(train_data[0]), len(train_data[1])

　　檢查一下是否下載完成

        接下來是將整形陣列轉換為原始的影評（對於訓練模型來說沒有影響）

# 字典:用於將數字轉向單詞
word_index = imdb.get_word_index()

# key值不變，value值加3，並新增了4個鍵值對
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0 # 用來將每一個sentence擴充到同等長度
word_index["<START>"] = 1
word_index["<UNK>"] = 2 # 未知，可能是生僻單詞或是人名
word_index["UNUSED"] = 3

# 將鍵值對的鍵與值互換
reverse_word_index = dict([(value,key) for (key,value) in word_index.items()])

# 轉譯為原句
def decode_review(text):
    return ' '.join([reverse_word_index.get(i,'?') for i in text])

　　輸入

decode_review(train_data[0])

　　確認一下是否可以轉化，轉化結果如下所示

接下來對資料進性預處理

因為每一個sequence的長度不一致，為了將其輸入到神經網路中，需要將他們的維度做一下預處理，有兩種方式

第一種：one-hot編碼 將每一個sequence轉譯成num_words(10000)個 0s和 1s,代表每一個單詞是否出現過，這種方式僅統計是否出現和不統計詞頻，且是記憶體密集型的編碼，總計會有num_words * num_reviews 大小的matrix

第二種：擴充套件整數陣列讓他們擁有相同的長度，這樣每一個sequence會有共同的max_length（256），總計會佔用 max_length*num_reviews大小

教程內採用第二種，在sequence後面擴充0

train_data = keras.preprocessing.sequence.pad_sequences(train_data,value=word_index["<PAD>"],padding='post',maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(test_data,value=word_index["<PAD>"],padding='post',maxlen=256)

　接下來構建模型

輸入資料是單詞組合，標籤是0或者1

先進行資料稀疏稠密化，因為sequence裡面的word_index值是[0~10000]內稀疏的，所以將每一個單詞用一個16維的向量代替；input(1024,256)output(1024,256,16)

再通過均值的池化層，將每一個sequence做均值，類似於將單詞合併 ;input(1024,256,16),output(1024,16)

全連線層採用relu啟用函式;input(1024,16),output(1024,16)

全連線層採用sigmoid啟用函式；input(1024,16),output(1024,1)

vocab_size = 10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size,16))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16,activation=tf.nn.relu))
model.add(keras.layers.Dense(1,activation=tf.nn.sigmoid))

model.summary()

　　因為採用了sigmoid啟用函式，所以損失函式不能用mse均方誤差，因為在sigmoid函式的兩端梯度很小，會使w和b更新很慢 ，所以採用交叉熵代價函式（cross-entropy cost function）

model.compile(optimizer=tf.train.AdamOptimizer(),loss='binary_crossentropy',metrics=['accuracy'])

　　構建訓練集

x_val =train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

　　開始訓練模型，並將訓練模型過程中的一些引數如訓練精度和交叉驗證精度等儲存在history中

history = model.fit(partial_x_train,partial_y_train,epochs=40,batch_size=1024,validation_data=(x_val,y_val),verbose=1)

　　評估模型

results = model.evaluate(test_data, test_labels)
results

可以看到精度大概在87%

最後通過matplot顯示訓練過程中的一些引數

import matplotlib.pyplot as plt

acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(1, len(acc) + 1)

plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

plt.clf()   # 清除圖表
acc_values = history_dict['acc']
val_acc_values = history_dict['val_acc']

plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.show()

交叉熵代價函式具有非負性和當真實輸出與期望輸出相近的時候，代價函式接近於零