2. 程式人生 > >幾種降維思想方法總結

幾種降維思想方法總結

阿新 • • 發佈：2019-02-05

資料的形式是多種多樣的，維度也是各不相同的，當實際問題中遇到很高的維度時，如何給他降到較低的維度上？前文提到進行屬性選擇，當然這是一種很好的方法，這裡另外提供一種從高維特徵空間向低緯特徵空間對映的思路。

資料降維的目的

　　資料降維，直觀地好處是維度降低了，便於計算和視覺化，其更深層次的意義在於有效資訊的提取綜合及無用資訊的擯棄。

資料降維的方法

　　主要的方法是線性對映和非線性對映方法兩大類。

線性對映

　　線性對映方法的代表方法有：PCA（Principal Component Analysis），LDA（Discriminant Analysis）

PCA方法簡介

　　主成分分析的思想，就是線性代數裡面的K-L變換，就是在均方誤差準則下失真最小的一種變換。是將原空間變換到特徵向量空間內，數學表示為Ax=λx。 
　　特徵向量和特徵值的意義：分別表示不同頻率及其幅度。 
特徵向量和特徵值的直白理解：想在特徵空間內找到某個向量x，使得其滿足Ax=λx。這個式子可以這樣理解，A是空間內的運動，x經過運動A後，保持方向不變（仍是x的方向），只是大小伸縮了λ倍。這樣我們找到了k個這樣的向量βk。 
A∗[β1,β2,...,βk]=[λ1β1,λ2β2,...,λkβk]。 
　　當然在實際用時，取最大的前幾個足矣。 
PCA計算是用的協方差矩陣U

的分解特徵向量。
1. 樣本矩陣去中心化（每個資料減去對應列的均值），得到Am,n。Am,n表示m個n維的資料。 
2.U表示樣本矩陣A的協方差矩陣(AT∗A=U，因為去中心化後的AT∗A即協方差） 
E(X−X0)(Y−Y0)=∑mi=11m(xi−x0)(yi−y0)。 
　　期望的定義：E(x)=∑xi∗p(xi)
3.U=[β]∗Λ∗[β]−1
4. 對A在[β1,β2,βk]方向上變換（注意選擇λ大的特向對映）。 
U=⎡⎣⎢⎢⎢⎢cov(1,1)cov(2,1)............cov(n,1)cov(1,2)cov(2,2)cov(n,2).........cov(1
,n)cov(2,n)cov(n,n)⎤⎦⎥⎥⎥⎥
　　其中數字表示相應第幾個屬性。 
為什麼要用協方差矩陣來特向分解呢？
協方差矩陣表徵了變數之間的相關程度（維度之間關係）。
對資料相關性矩陣的特向分解，意味著找到最能表徵屬性相關性的特向（最能表徵即誤差平方最小）。PCA一開始就沒打算對資料進行特向分解，而是對資料屬性的相關性進行分析，從而表示出最能代表屬性相關性的特向，然後將原始資料向這些特向上投影。所以，有的地方說PCA去相關。 
PCA的原理推導：
PCA優缺點：
　　優點：1）最小誤差。2）提取了主要資訊 
　　缺點：1）計算協方差矩陣，計算量大 
　　上述PCA中的特向分解，必須為方陣，這個條件是很苛刻的。有沒有直接對任意矩陣的分解呢，答案是有的，他的名字叫SVD分解。 
SVD分解用來找到矩陣的主要部分。可以直接對資料矩陣進行分解。 
Bm∗n≈Um∗k∑k∗k∗VTn∗k
　　其中  Um∗k和Vn∗k        是正交矩陣。 
Bm∗n∗Vn∗k≈Um∗k∑k∗k∗VTn∗k∗Vn∗k
Bm∗n∗Vn∗k≈Um∗k∑k∗k≈A^m∗k               實現了降維。 
UTm∗k∗Bm∗n≈UTm∗k∗Um∗k∑k∗k∗VTn∗k≈∑k∗k∗VTn∗k≈A^k∗n        實現了壓縮資料。 
SVD怎麼跟這個PCA結合到一起的呢？
　　SVD是對ATA或者AAT求解特值和特向，然後對A進行分解，得到A=UΔVT，中間是奇異值對角陣。 
U的列向量是AAT的特向組成。 
　　因此，可以用SVD求解特向，然後取前幾個大的特值對應的特向進行降維。 
PCA想對協方差矩陣特徵向量求解，而AAT剛好是協方差的表示形式，而

相關推薦

幾種降維思想方法總結

資料的形式是多種多樣的，維度也是各不相同的，當實際問題中遇到很高的維度時，如何給他降到較低的維度上？前文提到進行屬性選擇，當然這是一種很好的方法，這裡另外提供一種從高維特徵空間向低緯特徵空間對映的思路。 資料降維的目的 　　資料降維，直觀地好處是維度降低了

Spark ML包中的幾種歸一化方法總結

org.apache.spark.ml.feature包中包含了4種不同的歸一化方法： Normalizer StandardScaler MinMaxScaler MaxAbsScaler 有時感覺會容易混淆，藉助官方文件和實際資料的變換，在這裡做一次

LLE((locally linear embedding) 區域性線性嵌入演算法，一種降維方法

原始特徵的數量可能很大，或者說樣本是處於一個高維空間中，通過對映或變換的方法，降高維資料降低到低維空間中的資料，這個過程叫特徵提取，也稱降維。    特徵提取得基本任務研究從眾多特徵中求出那些對分類最有效的特徵，從而實現特徵空間維數的壓縮。傳統的降維技術可以分為線性和

12種降維方法終極指南（含Python程式碼）

你遇到過特徵超過1000個的資料集嗎？超過5萬個的呢？我遇到過。降維是一個非常具有挑戰性的任務，尤其是當你不知道該從哪裡開始的時候。擁有這麼多變數既是一個恩惠——資料量越大，分析結果越可信；也是一種詛咒——你真的會感到一片茫然，無從下手。 面對這麼多特徵，在微觀層面分析每個

資料分析七種降維方法

近來由於資料記錄和屬性規模的急劇增長，大資料處理平臺和並行資料分析演算法也隨之出現。於此同時，這也推動了資料降維處理的應用。實際上，資料量有時過猶不及。有時在資料分析應用中大量的資料反而會產生更壞的效能。 最新的一個例子是採用 2009 KDD Challenge 大資

12種降維方法終極指南

來源：Analytics Vidhya編譯：Bot授權自 論智你遇到過特徵超過1000個的資料集嗎？超過5萬個的呢？我遇到過。降維是一個非常具有挑戰性的任務，尤其是當你不知道該從哪裡開始的時候。擁有這麼多變數既是一個恩惠——資料量越大，分析結果越可信；也是

總結vue幾種主動重新整理的方法

當我們在做專案時，我們需要做當前頁面的重新整理來達到資料更新的目的，在此我們大概總結了幾種常用的頁面重新整理的方法。 1.window.location.reload(),是原生JS提供的方法，this.$router.go(0):是vue路由裡面的一種方法，這兩種方法都可

幾種基本排序算法總結

子序列 system aop 大於等於 != pri i++ index 元素移動 以下均采用從小到大排序： 1.選擇排序算法 個人覺得選擇排序算法是容易理解的排序算法，即從n個元素中選擇最小的一個元素與第一個元素交換，再將除第一個元素之外的n-1個元素找到最小的一

ASP.NET MVC 提高運行速度的幾種性能優化方法

服務 排隊 等待 谷歌搜索 部署 lan str run 提高 主要介紹ASP.NETMVC 應用提速的六種方法，因為沒有人喜歡等待，所以介紹幾種常用的優化方法。 大家可能會遇到排隊等待，遇到紅燈要等待，開個網頁要等待，等等等。 理所當然，沒有人喜歡等待網頁慢吞吞地加載

幾種Tab的實現方法

pager rdf add htm transacti 圖片 post tle top 轉載請註明出處，謝謝！ 學了這久Android，今天來總結一下幾種Tab的實現方法 實現方法一： ViewPage來實現 首先創建一個top.xml布局和一個bottom

jQuery幾種隱藏span的方法

隱藏span<span id=‘span_node_‘+id></span>（1）$(‘#span_node_‘+id).hide(); （2）$(‘#span_node_‘+id).toggle(false); （3）$(‘#span_node_‘+id).css(‘display‘

幾種遍歷數據方法及性能

返回值 reduce func var ons () array logs for forEach() 數組中的每個元素都會通過forEach進行一些改變，會改變原數組。 peoples.forEach(function (people) { people.doSomet

Delphi 使用 Datasnap 的幾種三層應用技術總結

排序 數據 -a rate class author conn fdt express Delphi 使用 Datasnap 進行三層應用開發，積累了幾種技術，總結如下： 1、（推薦！）在 Datasnap 服務端 使用 TDatasetProvider，客戶端 使用

ubuntu linux下測試實時網路網速流量監控的幾種小工具命令方法

總結了ubuntu下常用的網路檢視/監控工具，包括nethogs，ethstatus，bmon，Netspeed。 1. nethogs nethogs可以檢視實時程序網路佔用。  安裝： sudo apt install nethogs  檢視網路狀態： nethogs

幾種配置properties檔案方法--SSM框架-附原始碼

背景：  Spring、SpringMVC4.0.2、Mybatis3.2.6、JDK1.8、tomcat8、maven3.3.9、MyEclipse2013 專案結構：   demo.properties:  方法一： springmvc.xml

java幾種建立字串的方法

JAVA有幾種建立字串的方法1）通過引用字元陣列來建立字串 char a[]={'A','b','c','E'}; String str1=new String(a); System.out.println(str1); 2）先定義後賦值 String str2; str2="this is a b

JS常見的幾種陣列去重方法

總結一下JS中用到的陣列去重的方法  方法一： 該方法利用物件的屬性值不能相同： function arrDelLikeElement (array) { const result = []; const obj = {}; for(let i in arr

幾種基礎的排序方法

寫排序demo要在test裡新建class 不是在main裡 想要在控制檯列印 需要加test註解 氣泡排序 package com.jia.mysort; import org.junit.Test; /** * 氣泡排序 */ public class MyBubble

djjango cookie和session 的幾種常用需求使用方法

------https://www.cnblogs.com/liuqingzheng/articles/8990027.html 需求情形一：正常設定cookie def test_cookie_login(request): if request.method == 'POST':

幾種初級排序演算法的總結

@TOC 幾種初級排序演算法的總結 排序就是將一組物件按照某種邏輯順序重新排列的過程。 在本文中我們使用的操作： 遍歷陣列 比較兩個物件（本文中所有程式碼示例中的less方法） 交換兩個物件 （本文中所有程式碼示例中的