【本文內容摘自"Signals, Systems and Inferences"之"8.2-From Estimate to an Estimator", by Alan V.Oppenheim and George C.Verghese, 2010.】   上面我們得到對於特定的$X=x$，有 $\hat y(x)={\rm E}\left[Y|X=x\right].$ 然而，儘管$X$是隨機變數，但其取值$x$不是，因此$\hat y(x)$也不是。   在我們進入更深入的討論時，我們有必要在估計隨機變數和實現估計的步驟間劃分出界限。這就好像對於函式的取值和函式本身進行區分。我們把產生估計的過程或者函式稱為估計器(estimator)。   我們用$\stackrel{}{y}$

正交性   MMSE估計器的另外一個重要特性時殘留誤差$Y-\hat y({\rm X})$與測量的隨機變數的任意函式$h({\bf X})$

正交，即 ${\rm E}_{Y,X}\{[Y-\hat y ({\bf X)}]h({\bf X})\}=0.\qquad \qquad (1)$ 因此 ${\rm E}_{Y,X}\{\hat y ({\bf X)}h({\bf X})\}={\rm E}_{Y,X}\{Yh({\bf X})\}.\qquad \qquad (2)$ 特別地，選擇$h({\bf X})=1$，有 ${\rm E}_{Y,X}\{\hat y ({\bf X)}\}={\rm E}_{Y}\{Y\}.$ 因此，估計器被稱為無偏的(unbiased)：它的期望值等於估計的隨機變數的期望值。我們可以用無偏性來理解（1），即MMSE估計器的估計誤差與用來構造估計器的隨機變數的任意函式都是無關的。 （2）的證明如下 ${\rm E}_{Y,X}\{\hat y({\bf X})h({\bf X})\}={\rm E}_{X}[ {\rm E}_{Y|X}(Y|{\bf X})h({\bf X})\}\\={\rm E}_{X}[ {\rm E}_{Y|X}[Yh({\bf X})|{\bf X}\}={\rm E}_{Y,X}\{Yh({\bf X})\}$ 由此可以得到（1）中的正交性。