資料降維的作用PCA與LDA
阿新 • • 發佈：2019-01-01
1. 當你的特徵數量p過多，甚至多過資料量N的時候，降維是必須的。
為什麼是必須的？有個東西叫curse of dimensionality，維度越高，你的資料在每個特徵維度上的分佈就越稀疏，這對機器學習演算法基本都是災難性的。
你說特徵數量過多，砍一點就行了嘛？但是對不起，就有這樣的問題存在，砍不了。
你要研究某個罕見病跟什麼基因有關？基因很多哦，人類已知的基因有幾千個，可是病例通常也就幾百個，有時連幾百個都沒有…… 2. 特徵有比較明顯的自相關的時候，也可以考慮降維。
自相關會讓很多模型的效果變差，主要是線性模型。這些模型效果不好，但是算的快，很多時候很有用。先降維再算會好的多。
根據籃球知識，我們容易知道，如果一個人防“射手A”防的好，但是防“突破手B”防的差，那他防“射手C”也防的好的可能性大過防“突破手D”防的好的可能性。於是這裡有必要把進攻球員（防守球員也類似）做個相似度出來，根據這個相似度再來構建模型（比如可以用Bayes Net）。
相似度怎麼構建？PCA就可以了，把選手的出手位置的分佈做成特徵，然後PCA之，取前若干維的相似度即可。（為啥不直接用出手位置的分佈來做呢？效果不好唄，去掉雜音會好的多，而且PCA出來的還是正交的，可以直接求距離）
你可以試試把一個橢圓分佈的樣本集直接塞給SVM；再白化後（拉成圓）試試。 6. 至於降維，你也可以不降維啊。當你確定資訊量少的那些維度對你的問題確實沒幫助，降維肯定是好的，這又使問題簡化了，而且去掉這些沒用資訊可以防過擬合。但是資訊少往往不意味著沒用，有時候資訊少的那部分資訊甚至是關鍵資訊。舉個例子，比如你招人打籃球，只看身高這一項，普通人的身高是集中分佈在一段裡的，而且天賦異稟的身高只有極少數，而這極少數恰好是你需要的。
你說特徵數量過多，砍一點就行了嘛？但是對不起，就有這樣的問題存在，砍不了。
你要研究某個罕見病跟什麼基因有關？基因很多哦，人類已知的基因有幾千個，可是病例通常也就幾百個，有時連幾百個都沒有…… 2. 特徵有比較明顯的自相關的時候，也可以考慮降維。
自相關會讓很多模型的效果變差，主要是線性模型。這些模型效果不好，但是算的快，很多時候很有用。先降維再算會好的多。
根據籃球知識，我們容易知道，如果一個人防“射手A”防的好，但是防“突破手B”防的差，那他防“射手C”也防的好的可能性大過防“突破手D”防的好的可能性。於是這裡有必要把進攻球員（防守球員也類似）做個相似度出來，根據這個相似度再來構建模型（比如可以用Bayes Net）。
相似度怎麼構建？PCA就可以了，把選手的出手位置的分佈做成特徵，然後PCA之，取前若干維的相似度即可。（為啥不直接用出手位置的分佈來做呢？效果不好唄，去掉雜音會好的多，而且PCA出來的還是正交的，可以直接求距離）
你可以試試把一個橢圓分佈的樣本集直接塞給SVM；再白化後（拉成圓）試試。 6. 至於降維，你也可以不降維啊。當你確定資訊量少的那些維度對你的問題確實沒幫助，降維肯定是好的，這又使問題簡化了，而且去掉這些沒用資訊可以防過擬合。但是資訊少往往不意味著沒用，有時候資訊少的那部分資訊甚至是關鍵資訊。舉個例子，比如你招人打籃球，只看身高這一項，普通人的身高是集中分佈在一段裡的，而且天賦異稟的身高只有極少數，而這極少數恰好是你需要的。