今天用Kalman來求線性預測模型的系數，和ＬＭＳ一對比，天啦嚕，我感嘆了半小時．．．

和ＬＭＳ需要選合適的步長，樣本序列需要足夠長，叠代次數需要足夠多，相比，卡爾曼真是帥呆了！不需要步長！不需要蒙特卡羅若幹次！不需要１０００個以上樣本點！精度還是比ＬＭＳ高！ＬＭＳ默默地擦了擦汗．．．

先說一下問題背景。起源都是維納濾波，如何根據一串輸入ｕ（ｎ）和期望響應ｄ（ｎ）來求濾波器系數，使得輸出和期望響應的均方誤差最小。

當期望響應為ｕ（ｎ），輸入為ｕ（ｎ－１）＼ｕ（ｎ－２）＼．．．ｕ（ｎ－Ｍ）時，就是所謂的線性預測問題。

在已知輸入信號的二階統計量ｐ和Ｒ的情況下，最速下降就可以求系數，也不需要輸入信號；但這樣輸入就沒體現作用（輸入的變化），為了讓輸入的存在感更強點，就自己算自相關矩陣Ｒ和互相關矩陣ｐ，於是ＬＭＳ就這樣來了。

Kalman其實還是維納濾波。在線性預測問題上，狀態向量是濾波器系數，觀測量是輸入序列，ｋａｌｍａｎ的最大優勢是它的步長是自適應的，不需要人為選擇

【關於ＬＭＳ其實有很多改進版本，有一個歸一化ＬＭＳ（對輸入歸一化），觀察它的叠代公式會發現，其實也是ｋａｌｍａｎ的低配版】

紀念一下我對Kalman的無限崇拜之情