IMDB資料集下載速度慢，可以在我的[repo庫](> IMDB資料集下載速度慢，可以在我的repo庫中找到下載，下載後放到~/.keras/datasets/目錄下，即可正常執行。)中找到下載，下載後放到~/.keras/datasets/目錄下，即可正常執行。

電影評論分類：二分類

二分類可能是機器學習最常解決的問題。我們將基於評論的內容將電影評論分類：正類和父類。

IMDB資料集

IMDB資料集有5萬條來自網路電影資料庫的評論；其中2萬5千條用來訓練，2萬5千條用來測試，每個部分正負評論各佔50%.
劃分訓練集、測試集的必要性：不能在相同的資料集上對機器學習模型進行測試。因為在訓練集上模型表現好並不意味著泛化能力好(在沒有見過的資料上仍然表現良好)，而我們關心的是模型的泛化能力

載入資料集

from keras.datasets import imdb

(train_data,train_labels),(test_data,test_labels) = imdb.load_data(num_words=10000)

num_words=10000意味著只保留訓練集中最常出現的前10000個詞，不經常出現的單詞被拋棄—最終所有評論的維度保持相同。
變數train_data,test_data是電影評論的列表，每條評論由數字(對應單詞在詞典中出現的位置下標)列表組成。train_labels,test_labels是0,1列表，0負面評論，1表示正面評論。

>>> train_data[0]
[1, 14, 22, 16, ... 178, 32]
>>> train_labels[0]
1

預處理資料

不能直接將list型別的資料送到神經網路中訓練，必須將list型別轉換為tensor張量型別。有兩種轉換方式：
- 填充列表使每個列表長度都相同，然後轉換為整數型別的張量，形狀為(samples, word_indices),使用張量作為神經網路的第一層(Embedding層，能處理這樣的整數型別張量)；
- 將列表進行one-hot編碼，轉換成0、 1向量。然後用Dense網路層作為神經網路的第一層，處理浮點型別向量資料。

import numpy as np

def vectorize_sequences(sequences, dimension=10000):
    results = np.zeros((len(sequences), dimension)) #資料集長度，每個評論維度10000
    for i, sequence in enumerate(sequences):
        results[i, sequence] = 1 # one-hot
    return results

x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)

y_train = np.asarray(train_labels).astype('float32') # 向量化標籤資料
y_test = np.asarray(test_labels).astype('float32')

構建網路模型

現在輸入資料是向量型別，對應標籤資料為標量(0, 1):最容易處理的資料格式。處理這類問題最常見的網路模型是Dense網路層的線性堆疊，Dense(16, activation=’relu’)。

Dense網路層接收的引數16表示網路層神經元數目。一個神經元單元表示網路層表示空間的一個維度。16個神經元表示網路層權重係數形狀為(input_dimensions, 16);dot點積運算將會把輸出張量轉換為16維度的表示張量。越多的神經元數目表示神經網路可以學習到更加複雜的特徵表示，相應的計算效率降低，也可能學到不必要的特徵。
Dense網路層堆疊時回答兩個關鍵的問題：
- 有多少層網路？
- 每個層網路有多少個神經元？

啟用函式能給網路模型增加非線性表示。
使用的網路模型如下：

from keras import models
from keras import layers

model = models.Sequential()

model.add(layers.Dense(16, activation='relu',input_shape=(10000,)))
model.add(layers.Dense(16,activation='relu'))
model.add(layers.Dense(1,activation='sigmoid'))

最後，選擇損失函式和優化演算法。因為是二分類問題，網路模型的輸出是一個概率，最好使用binary_crossentropy損失函式，也可以使用mean_squared_error均方誤差損失函式。但是交叉熵是處理模型輸出為概率時最佳選擇。
配置使用rmsprop優化演算法以及binary_crossentropy損失函式，選擇監測的指標。

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['accuracy'])

這裡引數使用字串傳遞，因為在keras中對應字串已經定義好了。同時，可以傳遞函式型別給相應的引數。如：

from keras import losses
from keras import metrics

model.compile(optimizer=optimizers.RMSprop(lr=0.001),
            loss=losses.binary_crossentropy,
            metrics=[metrics.binary_accuracy])

模型驗證

為了在訓練過程中在沒有見過資料上監測準確率變化，需要分出一個驗證集。從訓練集中分出10000條做驗證集。

x_val = x_train[:10000]
partial_x_train = x_train[10000:]

y_val = y_train[:10000]
partial_y_train = y_train[10000:]

在512小批量，迭代20次進行模型訓練，同時在驗證集上監測準確率變化。

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['acc'])

history = model.fit(partial_x_train，partial_y_train,epochs=20,batch_size=512,validation_data=(x_val, y_val))

通過呼叫model.fit()方法返回一個history物件，history物件有history屬性—一個包含在訓練過程中記錄的資料的字典。

>>> history_dict = history.history
>>> history_dict.keys()
[u'acc', u'loss', u'val_acc', u'val_loss']

字典包括4個鍵–在訓練、驗證過程中被監測的指標。

在圖中畫出訓練損失和驗證損失的變化圖：

import matplotlib.pyplot as plt

history_dict = history.history
loss_values = history_dict['loss']
val_loss_values = history_dict['val_loss']

epochs = range(1, len(acc) + 1)

plt.plot(epochs, loss_values, 'bo', label='Training loss')#bo:blue dot藍點
plt.plot(epochs, val_loss_values, 'b', label='Validation loss')#b: blue藍色
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

訓練集和驗證集上準確率變化：

plt.clf()

acc_values = history_dict['acc']
val_acc_values = history_dict['val_acc']
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

可以從上面的兩張圖中看到，訓練損失逐漸降低，訓練準確度逐漸提高–這正是使用梯度下降演算法，我們所期望看到的。但是，驗證損失和驗證集上的準確率卻在第4次迭代左右開始變差—-模型在訓練集上表現良好，在沒有見過的資料上表現很差(泛化能力差)。用術語講，模型發生了過擬合。在這裡可以，使模型在第4次epoch時，訓練結束，這樣來儘可能避免過擬合現象的發生。

重新訓練

model = models.Sequential()

model.add(layers.Dense(16,activation='relu',input_shape=(10000,)))
model.add(layers.Dense(16,activation='relu'))
model.add(layers.Dense(1,activation='sigmoid'))

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['accuracy'])

model.fit(x_train,y_train,epochs=4,batch_size=512)
results = model.evaluate(x_test, y_test)
#[0.2929924130630493, 0.88327999999999995] 模型準確率為88%

使用訓練好的模型在新資料上做預測

使用訓練好的模型做預測—-訓練模型的目的.
可以使用predict函式對資料進行預測，給出為正面評論的概率。

>>> model.predict(x_test)
array([[ 0.98006207]
[ 0.99758697]
[ 0.99975556]
...,
[ 0.82167041]
[ 0.02885115]
[ 0.65371346]], dtype=float32)

小結

• 在把資料送到模型訓練之前，需要對原始資料進行預處理—將原始資料轉換成tensor張量格式。
• 使用relu為啟用函式的Dense網路層的線性連線能解決很大一部分問題；
• 在二分類問題中，網路模型應該以包含一個神經元，啟用函式為sigmoid的Dense層結束；輸出是介於0~1的標量，可以理解為概率。
• 二分類問題，sigmoid標量輸出，對應損失函式應該選擇binary_crossentropy；
• rmsprop優化演算法大多數情況下是一個很好的選擇，無論問題是什麼。