2. 程式人生 > >機器學習筆記（十三）：降維

機器學習筆記（十三）：降維

阿新 • • 發佈：2018-12-12

目錄

1）Motivation 1:Data Compression

2）Motivation 2: Data Visualization

3）Principal Component Analysis problem formulation

4）Principal Component Analysis algorithm

5）Advice for applying PCA

1）Motivation 1:Data Compression

無監督學習第二個演算法：降維，降維有兩個目的：1是資料壓縮，2是視覺化，資料壓縮就是減少特徵。工業中我們常常會碰到上萬的特徵，這是我們就需要壓縮資料，找出其中重要的特徵。下面是3維壓縮為2維的例子：

2）Motivation 2: Data Visualization

能將資料視覺化的話對我們處理問題很有幫助，下面是關於幾個國家GDP視覺化的例子：

3）Principal Component Analysis problem formulation

主成分分析是常見的降維方法。

需要注意的是：主成分分析不是線性迴歸。

主成分分析是最小化投射誤差，線性迴歸是最小化預測誤差。下圖左面是線性迴歸，右邊是主成分分析。

 

4）Principal Component Analysis algorithm

下面介紹PCA演算法：

1）均值歸一化：\frac{x^{(i)}-u_j}{s_j}

2）計算協方差矩陣：\sum=\frac{1}{m}\sum_{i=1}^{n}(x^{(i)})(x^{(i)})^T

3）計算協方差矩陣的特徵向量；

5）Advice for applying PCA

使用從訓練集得來特徵向量；

PCA不宜用來防止過擬合；

PCA不是必要的機器學習過程；

相關推薦

機器學習筆記（十三）：降維

目錄 1）Motivation 1:Data Compression 2）Motivation 2: Data Visualization 3）Principal Component Analysis problem formulation 4）Principal Compone

機器學習筆記（十三）：TensorFlow實戰五（經典卷積神經網路： LeNet -5 ）

1 - 引言 之前我們介紹了一下卷積神經網路的基本結構——卷積層和池化層。通過這兩個結構我們可以任意的構建各種各樣的卷積神經網路模型，不同結構的網路模型也有不同的效果。但是怎樣的神經網路模型具有比較好的效果呢？ 下圖展示了CNN的發展歷程。 經過人們不斷的嘗試，誕生了許多有

機器學習筆記（八）：PCA降維演算法

1 - PCA概述 主成份分析，簡稱為PCA，是一種非監督學習演算法，經常被用來進行 資料降維 有損資料壓縮 特徵抽取 資料視覺化 2 - PCA原理詳解 通過計算資料矩陣的協方差矩陣，然後得到協方差矩陣的特徵值特徵向量，選擇特

R語言學習筆記（十三）：時間序列

abs 以及 stat max 時間 aic air ror imp #生成時間序列對象 sales<-c(18,33,41,7,34,35,24,25,24,21,25,20,22,31,40,29,25,21,22,54,31,25,26,35) tsal

Python3學習筆記（十三）：裝飾器

nbsp lee 一個 col false UNC for strong 直接 裝飾器就是一個閉包，它的主要作用是在不改變原函數的基礎上對原函數功能進行擴展。 我們先來寫一個簡單的函數： from time import sleep def foo(): pr

javaweb學習筆記（十三）：JSP（3）

目錄 jsp(3) 1. EL表示式 2.Jsp標籤 2.1動作標籤 2.2JSTL標籤 2.3自定義標籤 3. JavaBean 4.web開發模式 jsp(3) 1. EL表示式 開發jsp的原則：儘量在jsp頁面中少寫，甚至不寫java程式碼

機器學習筆記（一）：最小二乘法和梯度下降

一、最小二乘法 1.一元線性擬合的最小二乘法 先選取最為簡單的一元線性函式擬合助於我們理解最小二乘法的原理。 要讓一條直接最好的擬合紅色的資料點，那麼我們希望每個點到直線的殘差都最小。 設擬合直線為

機器學習筆記（十）：TensorFlow實戰二（深層神經網路）

1 - 深度學習與深層神經網路 深度學習的精確定義為：“一類通過多層非線性變換對高複雜性資料建模演算法的集合” 因此，多層神經網路有著2個非常重要的特性 多層 非線性 1.1 - 線性模型的侷限性 線上性模型中，模型的輸出為輸入的加權和，假設一

機器學習筆記（九）：Tensorflow 實戰一 （Tensorflow入門）

1 - TsensorFlow計算模型 ——計算圖 1.1- 計算圖的概念 計算圖是TensorFlow中最基本的一個概念，TensorFlow中的所有計算都會被轉化為計算圖上的節點。 在TensorFlow中，張量可以簡單地理解為多為陣列。如果說TensorFlow的第一個詞T

機器學習筆記（七）：K-Means

1 - 前言 之前我們學習的演算法均為監督學習演算法，而K-means是我們所學習的第一個無監督學習演算法。所以首先讓我們瞭解一下監督學習和無監督學習的區別 1.1 - 監督學習（supervised learning） 從給定的訓練資料集中學習出一個函式（模型引數），當新的資料

機器學習筆記（六）：KNN分類器

1 KNN演算法 1.1 KNN演算法簡介 KNN（K-Nearest Neighbor）工作原理：存在一個樣本資料集合，也稱為訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類對應的關係。輸入沒有標籤的資料後，將新資料中的每個特徵與樣本集中資料對應的特

機器學習筆記（五）：樸素貝葉斯分類器

一、概述 1.1 簡介 樸素貝葉斯（Naive Bayesian）是基於貝葉斯定理和特徵條件獨立假設的分類方法，它通過特徵計算分類的概率，選取概率大的情況進行分類，因此它是基於概率論的一種機器學習分類方法。因為分類的目標是確定的，所以也是屬於監督學習。 Q1：什麼是基於概率論的方

機器學習筆記（3）：線性代數回顧

目錄 1）Matrices and vectors 2）Addition and scalar multiplication 3）Matrix-vector multiplication 4）Matrix-matrix multiplication 5）Matrix multip

機器學習筆記（二）：python 模組pandas

1.讀csv檔案資料 import pandas as pd Info = pd.read_csv('titanic_train.csv'); #print(type(Info)) #Info的型別 <class 'pandas.core.frame

機器學習筆記（三）：線性迴歸大解剖（原理部分）

進入機器學習，線性迴歸自然就是一道開胃菜。雖說簡單，但對於入門來說還是有些難度的。程式碼部分見下一篇，程式碼對於程式設計師還是能能夠幫助理解那些公式的。 （本文用的一些課件來自唐宇迪的機器學習，大家可以取網易雲課堂看他的視訊，很棒） 1.線性迴歸的一些要點 先說

機器學習筆記（三）：線性迴歸大解剖（程式碼部分）

這裡，讓我手把手教你如何用邏輯迴歸分析資料 根據學生分數預測是否錄取： #必備3個庫 import numpy as np import pandas as pd import matplotlib.pyplot as plt 讓我們讀入資料： import

Java虛擬機器學習筆記（一）：記憶體區域與HotSpot虛擬機器物件探祕

執行時資料區域 Java虛擬機器在執行Java程式的過程中會把它所管理的記憶體劃分為若干個不同的資料區域。這些區域都有各自的用途，以及建立和銷燬的時間，有的區域隨著虛擬機器程序的啟動而存在，有些區域則依賴使用者執行緒的啟動和結束而建立和銷燬。根據《Java虛擬機

機器學習筆記（二）：線性模型

線性模型是機器學習常用的眾多模型中最簡單的模型，但卻蘊含著機器學習中一些重要的基本思想。許多功能更為強大的非線性模型可線上性模型的基礎上通過引入層級結構或高維對映得到，因此瞭解線性模型對學習其他機器學習模型具有重要意義。 本文主要介紹機器學習中常用的線性模型，內

機器學習筆記（一）：極大似然估計與貝葉斯估計的區別

似然函式： 樣本資料的分佈和在引數為下的概率分佈的相似程度 極大似然估計：只要求出符合樣本資料分佈的最優引數即可，不需要考慮先驗。 貝葉斯估計   MAP（最大後驗估計）

機器學習筆記（八）：強化學習

前面我們介紹的機器學習演算法都屬於人工餵給機器資料，然後機器從這些資料中學得模型。而我們人類的學習過程並不是這樣，人類通過自身的感官感知環境，而後從環境中獲得經驗、知識，因此單純地依靠前面所介紹的方法並不能實現通用人工智慧。那麼有沒有辦法使得機器也能自動地不斷從周圍環境中獲得經驗或‘知識’呢？阿蘭。