k近鄰

k鄰近學習是一種常用的監督學習。其工作機制:給定測試樣本，基於某種度量找出與測試樣本最靠近的K個訓練樣本，在分類任務中是基於K個“鄰居”樣本的類別投票法來確定測試樣本的類別，在迴歸任務中是基於K個“鄰居”樣本輸出標記的平均值作為預測結果。

k鄰近學習缺陷與優點

• k鄰近稱為“懶惰學習”：訓練階段僅僅儲存訓練樣本，訓練時間開銷為0，待收到測試樣本後才進行學習
• 不同距離計算導致不同的結果”
• 假設樣本獨立同分布 ，對任意x和任意小整數a,在x的附近a距離總能找到一個訓練樣本z。則c∗=argmaxxϵYP(c|x)表示貝葉斯最優分類器。經過推導可以得到K近鄰泛化錯誤不超過貝葉斯最優分類器的2倍
  。想要維持K鄰近低範化錯誤，則訓練樣本密度必須足夠大。對於高維而言，若每一個屬性維度的訓練樣本的密度都很大，這會導致訓練樣本數量急劇增加，就出現了’維數災難‘。
  

主成分分析PCA

PCA是一種對原始高維空間進行線性變換從而獲得低維空間，並期望在所投影的維度上資料的方差最大，以此使用較少的資料維度，同時保留住較多的原資料點的特性。
需要注意PCA屬於特徵抽取不屬於特徵選擇。給定d維空間中的樣本X=(x1,x2,...xm)∈Rd×m變換之後得到d’<=d維

幫助理解這裡有小插曲

• A⋅B=|A||B|cos(a) A與B的內積等於A到B的投影長度乘以B的模。

• 設向量B的模為1，A⋅B=|A|cos(a)，則A與B的內積值等於A向B所在直線投影的向量長度
  

• 要準確描述向量，首先要確定一組基，然後給出在基所在的各個直線上的投影值

• 在直角座標系中的向量（x,y）實際上表示線性組合：x(1,0)T+y(0,1)T
• 兩個矩陣相乘的意義是將右邊矩陣中的每一列列向量變換到左邊矩陣中每一行行向量為基所表示的空間中去

根據以上的預備知識可以理解原屬性xi是在新座標（一組基）(w1,w2,...wm）的作用下得到zi（xi代表右邊矩陣的每一列向量）。若wi與wj(i,j不相等)則新座標系是一個正交座標系，W為正交變換，則低維新空間中的屬性是高維原始空間屬性的線性組合

現在進入正題，對於正交屬性的空間中的樣本點，如何用一個超平面（直線的高維推廣）對所有樣本進行恰當的表達？

• 最近重構性：樣本點到這個平面的距離都足夠近
• 最大可分性：樣本點在這個超平面的投影都儘可能分開

最近重構性和最大可分性可以得到兩種主成分的等價推導，以下推導是從最近重構性角度來出發。

• 假定樣本進行了中心化即∑xi=0
• 變換座標為W=(w1,w2,...wm），其中wi是標準正交基–∥wi∥2=1,wTiwj=0i≠j
• 設將維度降低到d’,樣本點xi→在低維座標中的投影zi→=(zi1;zi2...zid′)其中zij=wTi→xj→是xi在低維座標系的第j維投影
• 基於低維樣本zi重構xi,重構後的每個樣本點來說xi^=∑d′j=1zijwj→。重構的意思低維新空間的座標與基做內積

原樣本點xi和重構後的樣本點xi^之間的距離儘可能最小

min−tr(WTXXTW) s.t.WTW=I

• 其中x
  相關推薦

  主成分分析(PCA)和區域性線性嵌入（LEE）原理詳解

  k近鄰 k鄰近學習是一種常用的監督學習。其工作機制:給定測試樣本，基於某種度量找出與測試樣本最靠近的K個訓練樣本，在分類任務中是基於K個“鄰居”樣本的類別投票法來確定測試樣本的類別，在迴歸任務中是基於K個“鄰居”樣本輸出標記的平均值作為預測結果。 k鄰近學習

  主成分分析PCA以及特徵值和特徵向量的意義

  定義： 主成分分析（Principal Component Analysis，PCA）， 是一種統計方法。通過正交變換將一組可能存在相關性的變數轉換為一組線性不相關的變數，轉換後的這組變數叫主成分。PCA的思想是將n維特徵對映到k維上（k<n），這k維是全新的正交特徵

  【機器學習】主成分分析PCA（Principal components analysis）

  大小 限制 總結 情況 pca 空間 會有 ges nal 1. 問題 真實的訓練數據總是存在各種各樣的問題：　　1、 比如拿到一個汽車的樣本，裏面既有以“千米/每小時”度量的最大速度特征，也有“英裏/小時”的最大速度特征，

  主成分分析（PCA）原理詳解（轉載）

  增加 信息 什麽 之前 repl 神奇 cto gmail 協方差 一、PCA簡介 1. 相關背景 上完陳恩紅老師的《機器學習與知識發現》和季海波老師的《矩陣代數》兩門課之後，頗有體會。最近在做主成分分析和奇異值分解方面的項目，所以記錄一下心得體會。

  機器學習之路：python 特征降維 主成分分析 PCA

  repo nts total python learning bsp ota spa 像素 python3 學習api使用 主成分分析方法實現降低維度 使用了網絡上的數據集，我已經下載到了本地，可以去我的git上參考 git:https://github.com/lin

  主成分分析PCA & 奇異值分解SVD

  一 特徵值和特徵向量 想了解PCA和SVD，首先要了解的一個概念就是特徵值和特徵向量。        A是矩陣，x是向量、是數。如果滿足公式，則說是矩陣A的一個特徵值，非零向量x為矩陣A的屬於特徵值的特徵向量。矩陣A的特徵值和特徵向量可以寫成以下格式，請注

  吳恩達老師機器學習筆記主成分分析PCA

  接著學習主成分分析，這個演算法在之前計量地理學的作業裡寫過，不過前者稍微囉嗦了一點。 原始二維資料： 放程式碼： load('ex7data1.mat'); [m n]=size(X); X=(X-mean(X))./std(X); sigma=1/m*(X'*X); % 求取協

  主成分分析PCA學習一條龍

  轉自：https://yoyoyohamapi.gitbooks.io/mit-ml/content/%E7%89%B9%E5%BE%81%E9%99%8D%E7%BB%B4/articles/PCA.html https://www.jianshu.com/p/162bb4ea1b7f 1.有什麼功能？

  【機器學習演算法實現】主成分分析 PCA ——基於python+numpy

  分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

  【機器學習筆記15】主成分分析(PCA)

  PCA演算法 去平均值，即每一位特徵減去各自的平均值 計算新矩陣的協方差矩陣 設$X=(X_1, X_2…X_N)^T $，在鳶尾花例子裡N=4,會生成一個4*4的協方差矩陣 稱矩陣 C=(cij)n×n=(c11c12⋯c1nc21c22⋯c2n⋯⋯⋯⋯

  主成分分析（PCA）原理詳解

  1. 問題      真實的訓練資料總是存在各種各樣的問題： 1、 比如拿到一個汽車的樣本，裡面既有以“千米/每小時”度量的最大速度特徵，也有“英里/小時”的最大速度特徵，顯然這兩個特徵有一個多餘。 2、 拿到一個數學系的本科生期末考試成績單，裡面有三列，一列是對數學的

  一步步教你輕鬆學主成分分析PCA降維演算法

  （白寧超 2018年10月22日10:14:18） 摘要：主成分分析（英語：Principal components analysis，PCA）是一種分析、簡化資料集的技術。主成分分析經常用於減少資料集的維數，同時保持資料集中的對方差貢獻最大的特徵。常常應用在文字處理、人臉識別、圖片識別、自然語言處

  Python資料分析學習筆記（6）資料規約實戰--以主成分分析PCA為例

  一、相關理論： 1、資料規約：產生更小且保持資料完整性的新資料集。意義在於降低無效、錯誤資料；降低儲存成本；少量且具有代表性的資料大幅加快，主要分為以下兩類： ①屬性規約：屬性合併或刪除無關維，目標是尋找最小子集使子集概率分佈儘可能與原來相同。     常用方法： （

  主成分分析(PCA)

  主成分分析(PCA) 我們希望將N維資料降低為K維資料，對資料簡化有如下一系列原因： 1 使得資料集更易使用使用 2 降低很多演算法的計算開銷 3 去除噪聲 4 使得結果易懂     在所有的降維技術中，PCA的應用目前最為廣泛，在PCA中，資料從原來的座標系轉換

  主成分分析PCA演算法：為什麼去均值以後的高維矩陣乘以其協方差矩陣的特徵向量矩陣就是“投影”？

  這是從網上看到的PCA演算法的步驟： 第一步，分別求每列的平均值，然後對於所有的樣例，都減去對應的均值。 第二步，求特徵協方差矩陣。 第三步，求協方差的特徵值…顯示全部 關注者 1,218 被瀏覽 78,113 關注問題寫回答 ​新增評論 ​分享 ​邀請回答

  人臉識別中用主成分分析PCA來將資料降維--MATLAB程式碼

  人臉識別的資料集，維度一般都比較高，在自己的電腦上跑這麼高維的資料集，很多個人計算機需要跑很長時間，因此一般都需要改變影象大小或者是降維。 常用的方式有以下幾種，最普通的是改變影象的大小，是用的MATLAB自帶的imresize函式來直接改變影象的大小，如何使用請自行查詢。其次就是降維，基本的降

  主成分分析(PCA)原理及推導

   什麼是PCA？   在資料探勘或者影象處理等領域經常會用到主成分分析，這樣做的好處是使要分析的資料的維度降低了，但是資料的主要資訊還能保留下來，並且，這些變換後的維兩兩不相關！至於為什麼？那就接著往下看。在本文中，將會很詳細的解答這些問題：PCA、SVD、特徵值、奇異值

  （3）主成分分析(PCA)——基於python+numpy

  【機器學習演算法實現】主成分分析(PCA)——基於python+numpy 1、PCA演算法介紹 主成分分析（Principal Components Analysis），簡稱PCA，是一種資料降維技術，用於資料預處理。一般我們獲取的原始資料維度都很高，比如1000個特

  主成分分析---PCA

  一.PCA（Principal Component Analysis） is what ? 主成分分析是一種特徵提取技術，以某種特定的方式組合進行變數輸入，進一步保留價值量較大的部分，丟棄不重要的變數！ PCA上場的機會： 降低變數的數目，不需要識別可以完全移除的變數，變數之間相互獨立

  主成分分析PCA學習筆記

  主成分分析（principal components analysis，PCA）是一個簡單的機器學習演算法，主要思想是對高維資料進行降維處理，去除資料中的冗餘資訊和噪聲。 演算法： 輸入樣本：D={x1,x2,⋯,xm}