高緯度的區域性方法

高維的資料相比於低緯度的來說，多了很多麻煩 。s首先，高維取樣中，同樣比例的鄰域往往需要邊長較長的取樣。為了方便分析，我們假設是在p維單位超立方體中取樣。如圖，取一個佔整個單位體積比例為r$r$的樣本，那麼取樣邊長就是

ep(r)=r1p$$e_p(r)=r^{\frac{1}{p}}$$

那麼如果樣本空間維度是10，取樣大小佔總樣本的1%，那麼每一條邊的平均取樣邊長度就是e10(0.01)≈0.63$e_{10}(0.01)\approx 0.63$，如果取樣10%，平均取樣邊長就是e10(0.1)≈0.8$e_{10}(0.1)\approx 0.8$，也就是說我們取樣10%就需要覆蓋每個維度的80%
其次，均勻分佈的樣本點一般都更加靠近邊緣處。例如，從原點到最近資料點的一箇中值距離是

d(p,N)=(1−121N)1p$$d(p,N)=(1-{\frac{1}{2}}^{\frac{1}{N}}{)}^{\frac{1}{p}}$$
證明Ex2.3
還有一點就是取樣樣本密度與N1p$N^{\frac{1}{p}}$成正比，也就是說單輸入問題N1=100$N_1=100$稠密度的樣本，對於10輸入問題來說，就需要N10=10010$N_{10}={100}^{10}$的樣本容量。構造一個均勻分佈的例子，在[−1,1]p$[-1,1{]}^p$中取1000個點，Y$Y$與X$X$的真正關係是：Y=f(X)=e−8∥X∥$$Y=f(X)=e^{-8\Vert X\Vert }$$
檢驗x0=0$x_0=0$使用1-最近鄰規則預測y0$y_0$，對1000個樣本取均值，考慮f(0)$f(0)$均方誤差：
MSE(x0)=E[f(x0)−y^0]2=E[y^0−E(y^0)]2+[E(y^0)−f(x0)]2=Var(y^0)+Bias2(

y^0)$$\begin{array}{rl}MSE(x_0)& =E[f(x_0)-{\hat{y}}_0{]}^2\\ =E[{\hat{y}}_0-E({\hat{y}}_0){]}^2+[E({\hat{y}}_0)-f(x_0){]}^2\\ =Var({\hat{y}}_0)+Bia{s}^2({\hat{y}}_0)\end{array}$$
備註：由於x0$x_0$是確定的，所以f(x0)$f(x_0)$可以看作是常值，上式直接拆開計算比較一下就可以了。上式成為方差偏倚分解。
對於p=1$p=1$的情況，x0$x_0$的最近點非常接近0，但是隨著維度的增加，最近點逐漸遠離。1-NN,MSE,方差，平方偏倚與維度的關係如圖。

高維函式的複雜性往往也是這樣指數增長，要達到低維函式相同的精度，訓練的資料大小也是呈指數增長的。
如果我們知道Y$Y$與X$X$之間是接近線性的:

Y=

相關推薦

機器學習理論筆記（4）

高緯度的區域性方法 高維的資料相比於低緯度的來說，多了很多麻煩 。s首先，高維取樣中，同樣比例的鄰域往往需要邊長較長的取樣。為了方便分析，我們假設是在p維單位超立方體中取樣。如圖，取一個佔整個單位體積比例為rr的樣本，那麼取樣邊長就是 ep(r)=r1pe

Andrew Ng機器學習課程筆記（四）之神經網絡

sca 優化 介紹 www 之間 output 現在 利用 href Andrew Ng機器學習課程筆記（四）之神經網絡 版權聲明：本文為博主原創文章，轉載請指明轉載地址 http://www.cnblogs.com/fydeblog/p/7365730.html 前言

《Python 機器學習》筆記（一）

環境 成功 設定 相關 reward 能力 學習 一定的 env 賦予計算機學習數據的能力涵蓋：1.機器學習的一般概念2.機器學習方法的三種類型和基本術語3.成功構建機器學習系統所需的模塊機器學習的三種不同方法1.監督學習2.無監督學習3.強化學習通過監督學習對未來事件進行

《Python 機器學習》筆記（四）

構造 split logs pos 不支持 虛擬 訓練樣本 字符 cal 數據預處理——構建好的訓練數據集機器學習算法最終學習結果的優劣取決於兩個主要因素：數據的質量和數據中蘊含的有用信息的數量。缺失數據的處理在實際應用過程中，樣本由於各種原因缺少一個或多個值得情況並不少見

《Python機器學習》筆記（六）

後者 mean 子空間 otl 計算模型 lencod pytho 兩個 show 模型評估與參數調優實戰基於流水線的工作流一個方便使用的工具：scikit-learn中的Pipline類。它使得我們可以擬合出包含任意多個處理步驟的模型，並將模型用於新數據的預測。加載威斯康

機器學習讀書筆記（四）樸素貝葉斯基礎篇之網站賬號分類

pan 技巧 nbsp 增強 就是 使用 分類問題 預測 結果 一、條件概率 在學習計算p1和p2概率之前，我們需要了解什麽是條件概率，就是指在事件B發生的情況下，事件A發生的概率，用P(A|B)來表示。 根據文氏圖，可以很清楚地看到在事件B發生的情況下，事件A發

機器學習讀書筆記（三）決策樹基礎篇之從相親說起

方法 事務 家裏 分類 筆記 判斷 都是 rom tro 一、決策樹 決策樹是什麽？決策樹(decision tree)是一種基本的分類與回歸方法。舉個通俗易懂的例子，如下圖所示的流程圖就是一個決策樹，長方形代表判斷模塊(decision block)，橢圓形成代

機器學習簡要筆記（二）——常見學習任務及算法

bubuko 屬性。 src 沒有 數據 數量 類別 降維 筆記 1、分類 從標識數據中學習分類特征，利用學習的分類特征，識別某個對象屬於哪個類別。 2、回歸 預測與對象相關聯的連續性屬性。 3、聚類 從沒有標記的數據中發現類似特征的分組，即將對象自動分組。

機器學習速成筆記（二）： 訓練與損失

訓練模型通過有標籤樣本來學習（確定）所有的權重和偏差的理想值。 損失是對槽糕預測的懲罰，損失是一個數值，模型的預測完全正確，則損失為零，反之，模型的預測越槽糕，損失越大。 平方損失：一種常見的損失函式，線性迴歸模型就是使用該平方損失 均方誤差：每個樣本的平均平方損失，計算均方誤差，要算出

機器學習速成筆記（一）： 主要術語

機器學習研究如何通過計算的方式，利用資料集來改善系統自身的效能。 而深度學習是屬於機器學習的一個子分支。 機器學習的通用的兩種型別： 無監督學習：事先並沒有任務訓練資料的樣本，需要直接對資料進行建模型。 監督學習：通過已經有的訓練樣本（即輸入資訊和對應的輸出）來訓練，得到一個

機器學習實戰筆記（一）- 使用SciKit-Learn做回歸分析

err 皮爾遜 練習 using flow 相關 一個數 ocean 針對 一、簡介 這次學習的書籍主要是Hands-on Machine Learning with Scikit-Learn and TensorFlow（豆瓣：https://book.douban.co

機器學習課程筆記（2）

分類問題（接1） logistic迴歸中的代價函式： 對於原來的迴歸方程， J（θ）=1/m∑1/2（hθ（x）-y）2 與線性迴歸相同，所不同的是線性迴歸中hθ（x）為f（x），logistics中hθ（x）為sigmoid-f（x） 我們先設cost（h

機器學習數學原理（4）——樸素貝葉斯演算法

機器學習數學原理（4）——樸素貝葉斯模型 樸素貝葉斯模型（Naive Bayes Model），是一種基於貝葉斯定理與特徵條件獨立假設的分類方法，與決策樹模型（Decision Tree Model）同為目前使用最廣泛的分類模型之一，在各個領域都有廣泛的應用，例如我們經常會用到的垃圾

Coursera吳恩達機器學習教程筆記（一）

    人工智慧行業如火如荼，想要入門人工智慧，吳恩達老師的機器學習課程絕對是不二之選（當然，這不是我說的，是廣大網友共同認為的）    教程的地址連結：    有的同學可能進不去這個網站，解決辦法參照如下連結：    這個辦法本人親測有效，因為我看的時候也打不開（囧！！） 

程式設計師的機器學習入門筆記（七）：推薦系統入門介紹

介紹 背景 隨著網際網路行業的井噴式發展，獲取資訊的方式越來越多，人們從主動獲取資訊逐漸變成了被動接受資訊，資訊量也在以幾何倍數式爆發增長。舉一個例子，PC時代用google reader，常常有上千條未讀部落格更新；如今的微信公眾號，也有大量的紅點未閱

2018-3-21李巨集毅機器學習視訊筆記（十三）--“Hello Wrold” of Deep learning

Keras：有關的介紹：總的來說就是一個深度學習框架keras - CSDN部落格https://blog.csdn.net/xiaomuworld/article/details/52076202軟體工程中的框架：一種可複用的設計構件（從巨集觀上大體結構的一種規定約束）軟體

Andrew Ng機器學習課程筆記（十三）之無監督學習之EM演算法

Preface Jensen’s Inequality（Jensen不等式） Expectation-Maximization Algorithm（EM演算法） Jensen’s Inequality 對於凸函式 令f(x)f(x)為

CS229機器學習個人筆記（3）——Logistic Regression+Regularization

1.Classification Logistic Regression其實就是Classification，但是由於歷史原因名字被記作了邏輯迴歸。它與線性迴歸的區別在於 hθ(x) h_\theta(x)被限制在了0與1之間，這是通過下面的S函式（Sigmoi

CS229機器學習個人筆記（2）——Linear Regression with Multiple Variables

1.Multiple Features 目前，我們只討論了單特徵的迴歸模型，現在來增加一些特徵。 增添更多特徵後，我們引入一系列新的註釋： n n —— 代表特徵的數量。 x(i) x^{(i)}代表第 i 個訓練例項，是

CS229機器學習個人筆記（1）——Linear Regression with One Variable

1.Model Representation 第一個學習的演算法：線性迴歸演算法。 例子描述：這個例子是預測住房價格的，我們要使用一個數據集，資料集包含俄勒岡州波特蘭市的住房價格。在這裡，我要根據不同房屋尺寸所售出的價格，畫出我的資料集。比方說，如果你朋友的房子是 1250 平方