專案已上傳至 GitHub —— sin_pre

資料生成

因為標準的迴圈神經網路模型預測的是離散的數值，所以需要將連續的 sin 函式曲線離散化

所謂離散化就是在一個給定的區間 [0,MAX] 內，通過有限個取樣點模擬一個連續的曲線，即間隔相同距離取點

取樣用的是 numpy.linspace() 函式，它可以建立一個等差序列，常用的引數有三個

• start：起始值
• stop：終止值，不包含在內
• num：數列長度，預設為 50

然後使用一個 generate_data() 函式生成輸入和輸出，序列的第 i 項和後面的 TIMESTEPS-1 項合在一起作為輸入，第 i + TIMESTEPS 項作為輸出

TFLearn使用

TFlearn 對訓練模型進行了一些封裝，使 TensorFlow 更便於使用，如下示範了 TFLearn 的使用方法

from tensorflow.contrib.learn.python.learn.estimators.estimator import SKCompat

learn = tf.contrib.learn

# 建立深層迴圈網路模型
regressor = SKCompat(learn.Estimator(model_fn=lstm_model, model_dir='model/'))

# 呼叫fit函式訓練模型
regressor.fit(train_x, train_y, batch_size=BATCH_SIZE, steps=TRAINGING_STEPS)

# 使用訓練好的模型對測試集進行預測
 

predicted = [[pred] for pred in regressor.predict(test_x)]

完整程式碼

整個程式碼的結構如下

• lstm_model() 類用於建立 LSTM 網路並返回一些結果
• LstmCell() 函式用於建立單層 LSTM 結構，防止 LSTM 引數名稱一樣
• generate_data() 函式用於建立資料集

由於原書中的程式碼是基於 1.0，而我用的是 1.5，所以出現了很多錯誤，我將所遇到的錯誤的解決方法都記錄在了文末

import numpy as np
import tensorflow as tf
import matplotlib as
 
 mpl
from matplotlib import pyplot as plt
from tensorflow.contrib.learn.python.learn.estimators.estimator import SKCompat

# TensorFlow的高層封裝TFLearn
learn = tf.contrib.learn

# 神經網路引數
HIDDEN_SIZE = 30  # LSTM隱藏節點個數
NUM_LAYERS = 2  # LSTM層數
TIMESTEPS = 10  # 迴圈神經網路截斷長度
BATCH_SIZE = 32  # batch大小

# 資料引數
TRAINING_STEPS = 3000  # 訓練輪數
TRAINING_EXAMPLES = 10000  # 訓練資料個數
TESTING_EXAMPLES = 1000  # 測試資料個數
SAMPLE_GAP = 0.01  # 取樣間隔


def generate_data(seq):
    # 序列的第i項和後面的TIMESTEPS-1項合在一起作為輸入，第i+TIMESTEPS項作為輸出
    X = []
    y = []
    for i in range(len(seq) - TIMESTEPS - 1):
        X.append([seq[i:i + TIMESTEPS]])
        y.append([seq[i + TIMESTEPS]])
    return np.array(X, dtype=np.float32), np.array(y, dtype=np.float32)


# LSTM結構單元
def LstmCell():
    lstm_cell = tf.contrib.rnn.BasicLSTMCell(HIDDEN_SIZE)
    return lstm_cell


def lstm_model(X, y):
    # 使用多層LSTM，不能用lstm_cell*NUM_LAYERS的方法，會導致LSTM的tensor名字都一樣
    cell = tf.contrib.rnn.MultiRNNCell([LstmCell() for _ in range(NUM_LAYERS)])

    # 將多層LSTM結構連線成RNN網路並計算前向傳播結果
    output, _ = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)
    output = tf.reshape(output, [-1, HIDDEN_SIZE])

    # 通過無啟用函式的全聯接層計算線性迴歸，並將資料壓縮成一維陣列的結構
    predictions = tf.contrib.layers.fully_connected(output, 1, None)

    # 將predictions和labels調整為統一的shape
    y = tf.reshape(y, [-1])
    predictions = tf.reshape(predictions, [-1])

    # 計算損失值
    loss = tf.losses.mean_squared_error(predictions, y)

    # 建立模型優化器並得到優化步驟
    train_op = tf.contrib.layers.optimize_loss(
        loss,
        tf.train.get_global_step(),
        optimizer='Adagrad',
        learning_rate=0.1)

    return predictions, loss, train_op


# 用sin生成訓練和測試資料集
test_start = TRAINING_EXAMPLES * SAMPLE_GAP
test_end = (TRAINING_EXAMPLES + TESTING_EXAMPLES) * SAMPLE_GAP
train_X, train_y = generate_data(
    np.sin(np.linspace(0, test_start, TRAINING_EXAMPLES, dtype=np.float32)))
test_X, test_y = generate_data(
    np.sin(
        np.linspace(test_start, test_end, TESTING_EXAMPLES, dtype=np.float32)))

# 建立深層迴圈網路模型
regressor = SKCompat(learn.Estimator(model_fn=lstm_model, model_dir='model/'))

# 呼叫fit函式訓練模型
regressor.fit(train_X, train_y, batch_size=BATCH_SIZE, steps=TRAINING_STEPS)

# 使用訓練好的模型對測試集進行預測
predicted = [[pred] for pred in regressor.predict(test_X)]

# 計算rmse作為評價指標
rmse = np.sqrt(((predicted - test_y)**2).mean(axis=0))
print('Mean Square Error is: %f' % (rmse[0]))

# 對預測曲線繪圖，並存儲到sin.jpg
fig = plt.figure()
plot_predicted, = plt.plot(predicted, label='predicted')
plot_test, = plt.plot(test_y, label='real_sin')
plt.legend([plot_predicted, plot_test], ['predicted', 'real_sin'])
plt.show()

執行結果如下

$ python train.py

Mean Square Error is: 0.001638

可以看到曲線重合得非常好，所以用 LSTM 預測具有時間序列的資料非常合適

錯誤總結

1. 沒有 unpack

出現如下錯誤

AttributeError: module 'tensorflow' has no attribute 'unpack'

原因是 tf.unpack 改為了 tf.unstack

# 原始碼
x_ = tf.unpack(x, axis=1)

# 修改為
x_ = tf.unstack(x, axis=1)

2. 沒有 rnn_cell

出現如下錯誤

AttributeError: module 'tensorflow.python.ops.nn' has no attribute 'rnn_cell'

原因是 tf.nn.rnn_cell 改為了 tf.contrib.rnn

# 原始碼
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(HIDDEN_SIZE)
    cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell] * NUM_LAYERS)

# 修改為
lstm_cell = tf.contrib.rnn.BasicLSTMCell(HIDDEN_SIZE)
    cell = tf.contrib.rnn.MultiRNNCell([lstm_cell] * NUM_LAYERS)

3. rnn 不可呼叫

出現如下錯誤

TypeError: 'module' object is not callable

原因是 tf.nn.rnn 現在改為了幾個方法

tf.contrib.rnn.static_rnn
tf.contrib.rnn.static_state_saving_rnn
tf.contrib.rnn.static_bidirectional_rnn
tf.contrib.rnn.stack_bidirectional_dynamic_rnn

而我們需要的是 tf.nn.dynamic_rnn() 方法

# 原始碼
output, _ = tf.nn.rnn(cell, X, dtype=tf.float32)

# 修改為
output, _ = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

4. 不能呼叫 Estimator.fit

出現如下警告

WARNING:tensorflow:From train.py:71: calling BaseEstimator.fit (from tensorflow.contrib.learn.python.learn.estimators.estimator) with y is deprecated and will be removed after 2016-12-01.

該警告下面給出瞭解決方法

Instructions for updating:
Estimator is decoupled from Scikit Learn interface by moving into
separate class SKCompat. Arguments x, y and batch_size are only
available in the SKCompat class, Estimator will only accept input_fn.
Example conversion:
  est = Estimator(...) -> est = SKCompat(Estimator(...))

按照給出的方法修改程式碼

# 原始碼
regressor = learn.Estimator(model_fn=lstm_model)

# 修改為
from tensorflow.contrib.learn.python.learn.estimators.estimator import SKCompat

regressor = SKCompat(learn.Estimator(model_fn=lstm_model))

5. 臨時資料夾

出現如下警告

WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmp01x9hws6

原因是現在的 Estimator 需要提供 model_dir

# 原始碼
regressor = SKCompat(learn.Estimator(model_fn=lstm_model))

# 修改為
regressor = SKCompat(
    learn.Estimator(model_fn=lstm_model, model_dir='model/'))

6. 尺寸必須一致

出現如下錯誤

ValueError: Dimensions must be equal, but are 60 and 40 
for 'rnn/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/MatMul_1' 
(op: 'MatMul') with input shapes: [?,60], [40,120].

原因我不太清楚，可能是因為 TensorFlow 的調整導致生成的資料在形狀上與老版本不一致，也可能是因為使用 lstm_cell*NUM_LAYERS 的方法建立深層迴圈網路模型導致每層 LSTM 的 tensor 名稱都一樣

只能在網上搜了其他的類似的部落格後照著修改了程式碼，下面給出了修改的關鍵地方，詳細的部分在完整程式碼中

# LSTM結構單元
def LstmCell():
    lstm_cell = tf.contrib.rnn.BasicLSTMCell(HIDDEN_SIZE)
    return lstm_cell

def lstm_model(X, y):
    # 使用多層LSTM，不能用lstm_cell*NUM_LAYERS的方法，會導致LSTM的tensor名字都一樣
    cell = tf.contrib.rnn.MultiRNNCell([LstmCell() for _ in range(NUM_LAYERS)])
    # 將多層LSTM結構連線成RNN網路並計算前向傳播結果
    output, _ = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)
    ......

7. Legend 不支援

出現如下錯誤

UserWarning: Legend does not support [<matplotlib.lines.Line2D object at 0x7feb52d58c18>] instances.
A proxy artist may be used instead.

原因是因為需要在呼叫 plt.plot 時引數解包

# 原始碼
plot_predicted = plt.plot(predicted, label='predicted')
plot_test = plt.plot(test_y, label='real_sin')

# 修改為（加逗號）
plot_predicted, = plt.plot(predicted, label='predicted')
plot_test, = plt.plot(test_y, label='real_sin')

8. 使用 plt.show() 不顯示圖片

在程式碼中使用 plt.show() 執行之後沒有圖片顯示，原因是原始碼中使用了 mpl.use(‘Agg’)，而 Agg 是不會畫圖的，所以直接把這一行刪掉

9. get_global_step 不建議使用

出現如下警告

WARNING:tensorflow:From train.py:60: get_global_step 
(from tensorflow.contrib.framework.python.ops.variables) 
is deprecated and will be removed in a future version.

警告下面給出瞭解決方法

Instructions for updating:
Please switch to tf.train.get_global_step

按照解決方法修改程式碼

# 原始碼
train_op = tf.contrib.layers.optimize_loss(
        loss,
        tf.contrib.framework.get_global_step(),
        optimizer='Adagrad',
        learning_rate=0.1)

# 修改為
train_op = tf.contrib.layers.optimize_loss(
        loss,
        tf.train.get_global_step(),
        optimizer='Adagrad',
        learning_rate=0.1)