考慮到在實際應用場景中，資料有可能後續增加，另外，類別也有可能重新分配，比如銀行業務中的[取款兩萬以下]和[取款兩萬以上]後續可能合併為一類[取款]，而重新訓練模型會浪費大量時間，因此我們考慮使用遷移學習來縮短訓練時間。即保留LSTM層的各權值變數，然後重新構建全連線層，即圖中的Softmax層。

                                                                   分類器模型結構圖

具體遷移過程如下（程式碼基於Python3.5/Tensorflow1.2 github程式碼地址）：
Step1 構建網路模型

            with tf.name_scope("Train"):
                with tf.variable_scope("Model", reuse=None, initializer=initializer):
                    model = RNN_Model(config=config, num_classes=num_classes, is_training=True)


            with tf.name_scope("Valid"):
                with tf.variable_scope("Model", reuse=True, initializer=initializer):
                    valid_model = RNN_Model(config=valid_config, num_classes=num_classes, is_training=False)
 

Step1 構建網路模型

Step2 初始化變數（這一步要先做，以免覆蓋後續載入的Variable）

Step3 restore之前儲存的網路權值，這裡做了判斷

如果沒有模型檔案的話就從頭開始訓練

有模型檔案存在，但是輸出類別沒有發生變化的話，就接著訓練

有模型檔案，同時輸出類別發生了改變，就進行遷移學習

            if os.path.exists(checkpoint_dir):
                classes_file = codecs.open(os.path.join(config.out_dir, "classes"), "r", "utf-8")
                classes = list(line.strip() for line in classes_file.readlines())
                classes_file.close()

                # 類別是否發生改變
                if sorted(classify_names) == sorted(classes):
                    print('-----continue training-----')

                    new_classify_files = []
                    for c in classes:
                        idx = classify_names.index(c)
                        new_classify_files.append(classify_files[idx])

                    # classify_files = new_classify_files

                    restored_saver = tf.train.Saver(tf.global_variables())
                    ckpt = tf.train.get_checkpoint_state(checkpoint_dir)
                    if ckpt and ckpt.model_checkpoint_path:
                        print('restore model: '.format(ckpt.model_checkpoint_path))
                        restored_saver.restore(session, ckpt.model_checkpoint_path)
                    else:
                        print('-----train from beginning-----')
                else:
                    print('-----change network-----')
                    not_restore = ['softmax_w:0', 'softmax_b:0']
                    restore_var = [v for v in tf.global_variables() if v.name.split('/')[-1] not in not_restore]
                    restored_saver = tf.train.Saver(restore_var)
                    ckpt = tf.train.get_checkpoint_state(checkpoint_dir)
                    if ckpt and ckpt.model_checkpoint_path:
                        print('restore model: '.format(ckpt.model_checkpoint_path))
                        restored_saver.restore(session, ckpt.model_checkpoint_path)
                    else:
                        pass

                    classes_file = codecs.open(os.path.join(config.out_dir, "classes"), "w", "utf-8")
                    for classify_name in classify_names:
                        classes_file.write(classify_name)
                        classes_file.write('\n')
                    classes_file.close()
            else:
                print('-----train from begin-----')
                os.makedirs(checkpoint_dir)
                classes_file = codecs.open(os.path.join(config.out_dir, "classes"), "w", "utf-8")
                for classify_name in classify_names:
                    classes_file.write(classify_name)
                    classes_file.write('\n')
                classes_file.close()
 

Step4 開始訓練

經驗證，很快loss就收斂了，由於資料的變動不是很大，因此一個epoch就能到達收斂，持續好幾個小時的重複訓練可以縮短至幾分鐘。

另外，在寫程式碼的過程中，發現restored_saver.restore()這個函式的作用是載入之前儲存模型的各Variable，而Graph需要自己重新畫，這個函式的好處是，可以只加載你想要的Variable，不想要的可以丟掉，例如本文中，需要捨棄Softmax層的w 和b，可以這樣寫：

                    not_restore = ['softmax_w:0', 'softmax_b:0']
                    restore_var = [v for v in tf.global_variables() if v.name.split('/')[-1] not in not_restore]
                    restored_saver = tf.train.Saver(restore_var)
                    ckpt = tf.train.get_checkpoint_state(checkpoint_dir)
                    if ckpt and ckpt.model_checkpoint_path:
                        print('restore model: '.format(ckpt.model_checkpoint_path))
                        restored_saver.restore(session, ckpt.model_checkpoint_path)
 

如果不希望重複定義圖上的運算，也可以使用tf.train.import_meta_graph()直接載入已經持久化的圖，之前那篇部落格在呼叫訓練好的模型進行分類時，就是這麼做的：

                saver = tf.train.import_meta_graph("{}.meta".format(checkpoint_file))
                saver.restore(self.session, checkpoint_file)

這個函式會把整個Graph連同裡面的各個量一股腦載入進來，這樣就導致不能對模型進行微調（fine tuning），就連batch size也是不能改，考慮到這一點，那時候我在訓練的時候驗證集對應的model只能設成1了。

對比感覺還是用restored_saver.restore()更方便、靈活一點，也不容易出錯。