鑑於影象的語義分析需求已經不再侷限於常規的單幀影象，視訊語義分析的地位日漸重要。初步考慮，幀與幀之間依靠時間維度進行銜接，或許需要適當研究基礎的LSTM與RNN結構。

特徵工程/訓練:

        許多大資料工程師都認為，預測任務中80%的時間用來做特徵工程，20%的時間用來做訓練。這裡總結一下自己最近作比賽四處討教來的、針對時間序列預測問題而出現的特徵工程技巧和訓練技巧，不定時更新補充：

假設場景：

    公司給出了這樣的資料：以天為單位；每天有N維特徵；一共是最近1000天的資料

專案要求：

    預測往後20天的資料。

一：該怎麼做比例合適的測試集和訓練集？

1.  對於非平穩序列，通過差分預處理獲得平穩時間序列。
2.  按照時間先後順序（有頭有尾）；以【1】天為步長，依次把第【J】天的資料做為X，把第【J+1】天的資料做為Y，形成一個embedding；那麼有999個embedding。
3. 按照時間先後順序（有頭有尾）；以【m】天為步長，依次把【（J*m：J*m+N】天拓展資料做為X，把第【J*m+N+1】天作為Y，進行大跨度切片，形成一個embedding；那麼有（1000-N）% m 個embedding。
4. 把時間序列首尾相連形成迴圈佇列狀（無頭無尾），按照2的規則進行切片。不同的是，有的切片會切到時間序列上收尾相接的部分。
5. 在3或4的規則下，以適當小的比例打亂單個embedding的X內部元素的順序，也新增到訓練集中。
6. 在3或3的規則下，協同過濾方法為訓練集增加特徵：去除樣本中的時間維度，計算每個樣本和其他樣本之間的相似度，用相似度乘以其他樣本的【某一個維度A】進行加權平均，得到純基於特徵相似度的【A】特徵，加入到樣本特徵中。
7. 在5規則下，各種組合。
8. 去除異常點（四種方法，先mark）

二：該怎麼安排訓練過程？

1. 完全按照時間序列的前後順序進行訓練，更新rnn的隱藏層輸出值，這是利用網路之前的輸出會影響之後的輸入的特性
2. 不完全按照時間序列的前後順序進行訓練，而是打亂shuffle順序或者隨機抽取測試樣本進行訓練，kaggle競賽有些是這麼處理的（這個過程有點粗暴，相當於用著lstm/rnn網路，卻丟掉了時間維度，只是做著傳統cnn的特徵提取工作。所以我寫了“不完全按照時間序列”，這樣處理可以泛化除時間維度之外的特徵提取能力，同時在資料量小的情況下也可以增加樣本，適當地防止過擬合，算是個小竅門），預測準確性獲得提升。

wonderseen | Xiamen University | 2018.03.17