本文轉自http://m.elecfans.com/article/699564.html

ICA獨立成分分析是近年來出現的一種強有力的資料分析工具（Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001）。1994年由Comon給出了ICA的一個較為嚴格的數學定義，其思想最早是由Heranlt和Jutten於1986年提出來的。 

ICA從出現到現在雖然時間不長，然而無論從理論上還是應用上，它正受到越來越多的關注，成為國內外研究的一個熱點。

ICA獨立成分分析是一種用來從多變數（多維）統計資料裡找到隱含的因素或成分的方法，被認為是PCA主成分分析(請參見人工智慧（46）)和FA因子分析的一種擴充套件。對於盲源分離問題，ICA是指在只知道混合訊號，而不知道源訊號、噪聲以及混合機制的情況下，分離或近似地分離出源訊號的一種分析過程。 

ICA演算法概念：
ICA（IndependentComponent Analysis） 獨立成分分析是一門統計技術，用於發現存在於隨機變數下的隱性因素。ICA為給觀測資料定義了一個生成模型。在這個模型中，其認為資料變數是由隱性變數，經一個混合系統線性混合而成，這個混合系統未知。並且假設潛在因素屬於非高斯分佈、並且相互獨立，稱之為可觀測資料的獨立成分。

ICA與PCA相關，但它在發現潛在因素方面效果良好。它可以應用在數字影象、檔文資料庫、經濟指標、心裡測量等。

ICA演算法本質：
ICA是找出構成訊號的相互獨立部分(不需要正交)，對應高階統計量分析。ICA理論認為用來觀測的混合資料陣X是由獨立元S經過A線性加權獲得。ICA理論的目標就是通過X求得一個分離矩陣W，使得W作用在X上所獲得的訊號Y是獨立源S的最優逼近，該關係可以通過下式表示：

Y = WX = WAS ， A = inv(W)

ICA相比與PCA更能刻畫變數的隨機統計特性，且能抑制高斯噪聲。

從線性代數的角度去理解，PCA和ICA都是要找到一組基，這組基張成一個特徵空間，資料的處理就都需要對映到新空間中去。

ICA理論基礎：
ICA理論基礎如下：

1）標準正交基

2）白化

3）梯度下降

ICA目標函式:
ICA的目標函式如下： 

樣本資料 x 經過引數矩陣 W 線性變換後的結果的L1範數，實際上也就是描述樣本資料的特徵。

加入標準正交性約束（orthonormality constraint）後，ICA獨立成分分析相當於求解如下優化問題： 

這就是標準正交ICA的目標函式。與深度學習中的通常情況一樣，這個問題沒有簡單的解析解，因此需要使用梯度下降來求解，而由於標準正交性約束，又需要每次梯度下降迭代之後，將新的基映射回正交基空間中，以此保證正交性約束。 

ICA優化引數:  
針對ICA的目標函式和約束條件，可以使用梯度下降法，並在梯度下降的每一步中增加投影（projection ）步驟，以滿足標準正交約束。過程如下：  

ICA演算法流程：
已知訊號為S，經混和矩陣變換後的訊號為：X=AS。對交疊訊號X，求解混矩陣B，使Y=WX各分量儘量相互獨立。求解W的過程並不一定是近似A的逆矩陣，Y也不是訊號S的近似，而是為了使Y分量之間相互獨立。目的是從僅有的觀測資料X出發尋找一個解混合矩陣。

常見的方法：InfoMax方法（用神經網路使資訊最大化），FastICA方法（固定點演算法，尋求X分量在W上投影（W^t）*X）的非高斯最大化。

主要演算法流程如下： 
 1、預處理部分：1）對X零均值處理   
2）球化分解（白化）

乘球化矩陣S，使Z=SX各行正交歸一，即ZZ’=I

2、核心演算法部分： 尋求解混矩陣U，使Y=UZ，Y各道資料儘可能獨立（獨立判據函式G）。
1)、由於Y獨立，各行必正交。且通常取U保持Y各行方差為1，故U是正交變換。
2)、所有演算法預處理部分相同，以後都設輸入的為球化資料z，尋找正交矩陣U，使Y=Uz獨立。

由於獨立判據函式G的不同，以及步驟不同，有不同的獨立分量分析法。

3、Fast ICA演算法思路：

思路：屬於探查性投影追蹤

目的：輸入球化資料z，經過正交陣U處理，輸出Y=Uz
1）輸入球化資料z，經過正交陣某一行向量ui處理（投影），提取出某一獨立分量yi。

2）將此分量除去，按次序依次提取下去，得到所有的yi ，以及ui。

3）得到獨立的基向量U

U＝WX

Fast ICA演算法程式如下：

       function [Out1, Out2, Out3] =fastica(mixedsig, varargin)

%FASTICA(mixedsig) estimates theindependent components from given

% multidimensional signals. Each row ofmatrix mixedsig is one

% observed signal.

% = FASTICA (mixedsig); the rows oficasig contain the

% estimated independent components.

% = FASTICA (mixedsig); outputs the estimatedseparating

% matrix W and the corresponding mixingmatrix A.

mixedsig為輸入向量，icasig為求解的基向量。

A即為混合矩陣，可以驗證mixedsig=A×icasig。

W即為解混矩陣，可以驗證icasig=W×mixedsig。

ICA演算法優點：
1）收斂速度快。

2）並行和分佈計算，要求記憶體小，易於使用。

3）能通過使用一個非線性函式g便能直接找出任何非高斯分佈的獨立分量。

4）能夠通過選擇一個適當的非線性函式g而使其達到最佳化。特別是能得到最小方差的演算法。

5）僅需要估計幾個（不是全部）獨立分量，能極大地減小計算量。

ICA演算法缺點：
1) 特徵矩陣W的特徵數量（即基向量數量）大於原始資料維度會產生優化方面的困難，並導致訓練時間過長；

2) ICA模型的目標函式是一個L1範數，在 0 點處不可微，影響了梯度方法的應用。

注：儘管可以通過其他非梯度下降方法避開缺點2），也可以通過使用近似值“平滑” L1 範數的方法來解決，即使用 ( x2+ε )1/2 代替 |x|，對L1範數進行平滑，其中 ε 是“平滑引數”（smoothing parameter）。

ICA與PCA區別：
1） PCA是將原始資料降維並提取出不相關的屬性，而ICA是將原始資料降維並提取出相互獨立的屬性。

2） PCA目的是找到這樣一組分量表示，使得重構誤差最小，即最能代表原事物的特徵。ICA的目的是找到這樣一組分量表示，使得每個分量最大化獨立，能夠發現一些隱藏因素。由此可見，ICA的條件比PCA更強些。

3） ICA要求找到最大獨立的方向，各個成分是獨立的；PCA要求找到最大方差的方向，各個成分是正交的。

4） ICA認為觀測訊號是若干個統計獨立的分量的線性組合，ICA要做的是一個解混過程。而PCA是一個資訊提取的過程，將原始資料降維，現已成為ICA將資料標準化的預處理步驟。

ICA演算法應用：
從應用角度看，ICA應用領域與應用前景都是非常廣闊的，目前主要應用於盲源分離、影象處理、語言識別、通訊、生物醫學訊號處理、腦功能成像研究、故障診斷、特徵提取、金融時間序列分析和資料探勘等。 

結語:
ICA是一種常用的資料分析方法，是盲訊號分析領域的一個強有力方法，也是求非高斯分佈資料隱含因子的方法。從樣本-特徵角度看，使用ICA的前提條件是，認為樣本資料由獨立非高斯分佈的隱含因子產生，隱含因子個數等於特徵數，要求的是隱含因子。ICA演算法已經被廣泛應用於盲源分離、影象處理、語言識別、通訊、生物醫學訊號處理、腦功能成像研究、故障診斷、特徵提取、金融時間序列分析和資料探勘等領域