​ 有一句話說得好，要有造輪子的技術和用輪子的覺悟，今年來人工智慧火的不行，大家都爭相學習機器學習，作為學習大軍中的一員，我覺得最好的學習方法就是用python把機器學習演算法實現一遍，下面我介紹一下用邏輯迴歸實現手寫字型的識別。

邏輯迴歸知識點回顧

​ 線性迴歸簡單又易用hθ(x)=θTx$h_{\theta }(x)={\theta }^{T}x$，可以進行值的預測，但是不擅長分類。在此基礎上進行延伸，把預測的結果和概率結合起來就可以做分類器了，比如預測值大於0.5，則歸為1類，否則就歸為0類，這個就是邏輯迴歸演算法了。邏輯迴歸主要解決的就是二分類問題，比如判斷圖片上是否一隻貓，郵件是否垃圾郵件等。

​ 由於邏輯迴歸的結果是概率值，為0-1之間，因此需要線上性迴歸的結果上增加一次運算，使得最後的預測結果在0到1之間。

​ Sigmoid函式，表示式為：g(z)=11+e−z$g(z)=\frac{1}{1+e^{-z}}$

​ sigmoid的輸出在0和1之間，我們在二分類任務中，採用sigmoid的輸出的是事件概率，也就是當輸出滿足滿足某一概率條件我們將其劃分正類。

結合了sigmoid函式，把線性迴歸的結果概率化，得到預測函式為hθ(x(i))=g(θTx(i))$h_{\theta }(x^{(i)})=g({\theta }^T{x}^{(i)})$，g(z)=11+e−z$g(z)=\frac{1}{1+e^{-z}}$。當概率大於0.5時為1類，否則判定位0類。

接下來我們開始使用邏輯迴歸進行手寫字型的識別！

檢視手寫字型資料

​ 此次使用的是5000條手寫數字的資料。一條訓練資料是20px*20px圖片的資料，每一個畫素點是代表灰度值。我們檢視一下前100條手寫資料，如下圖：

資料集下載地址：

定義向量化的預測函式hθ(x)$h_{\theta }(x)$

首先我們定義預測函式hθ(x(i))=g(θ0+θ1x(i)1+θ2x(i)2+...+θkx(i)k)$h_{\theta }(x^{(i)})=g({\theta }_0+{\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}+...+{\theta }_k{x}_k^{(i)})$ ,k是引數的個數。

寫成向量化的形式為：

hθ(x(i))=g(θTx(i))$h_{\theta }(x^{(i)})=g({\theta }^T{x}^{(i)})$ , g(z)=11+e−z$g(z)=\frac{1}{1+e^{-z}}$ ，g(z)是啟用函式（sigmoid function）

def h(mytheta,myX):
#expit是scipy庫中向量化sigmoid函式的計算函式
    return
 
 expit(np.dot(myX, mytheta))

預測函式中θ$\theta$的值是未知的，接下來的任務就是要根據訓練集，求解出θ$\theta$的值。

計算代價函式(Cost Function)

線上性迴歸中的最小二乘法，求解引數θ$\theta$就是最小化殘差平方和，也就是代價函式J(θ)$J(\theta )$。代價函式J(θ)$J(\theta )$是度量預測錯誤的程度，邏輯迴歸的代價函式為對數似然函式，

等價於：

J(θ)=1m∑mi=1[−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i)))]$J(\theta )=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}log(h_{\theta }(x^{(i)}))-(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$

def computeCost(mytheta,myX,myy):
    m = len(X) #5000
    term1 = np.dot(-np.array(myy).T,np.log(h(mytheta,myX)))#shape(1,401)
    term2 = np.dot((1-np.array(myy)).T,np.log(1-h(mytheta,myX)))#shape(1,401)
    return float((1./m) * np.sum(term1 - term2) )

使得預測錯誤的程度最低，即使得J(θ)$J(\theta )$最小，此時我們把問題轉為最優化問題。

下面介紹一種求解最優化的演算法：梯度下降。從初始位置每次向梯度方向(就是下降速度最快的方向)邁一小步，一直走到最低點。想象你在下山，你朝著當前位置下降最快的方向走一步。

計算梯度

經過數學運算可以得出∂J∂θ=1m

相關推薦

不用框架，Python實現手寫數字識別

​ 有一句話說得好，要有造輪子的技術和用輪子的覺悟，今年來人工智慧火的不行，大家都爭相學習機器學習，作為學習大軍中的一員，我覺得最好的學習方法就是用python把機器學習演算法實現一遍，下面我介紹一下用邏輯迴歸實現手寫字型的識別。 邏輯迴歸知識點回顧

一看就懂的K近鄰演算法(KNN)，K-D樹，並實現手寫數字識別！

1. 什麼是KNN 1.1 KNN的通俗解釋 何謂K近鄰演算法，即K-Nearest Neighbor algorithm，簡稱KNN演算法，單從名字來猜想，可以簡單粗暴的認為是：K個最近的鄰居，當K=1時，演算法便成了最近鄰演算法，即尋找最近的那個鄰居。 用官方的話來說，所謂K近鄰演算法，即是給定一個訓練資

Python(TensorFlow框架)實現手寫數字識別系統

手寫數字識別演算法的設計與實現 本文使用python基於TensorFlow設計手寫數字識別演算法，並程式設計實現GUI介面，構建手寫數字識別系統。這是本人的本科畢業論文課題，當然，這個也是機器學習的基本問題。本博文不會以論文的形式展現，而是以程式設計實戰

第二節，TensorFlow 使用前饋神經網絡實現手寫數字識別

com net config return pyplot dataset 運行 算法 但是 一 感知器 感知器學習筆記：https://blog.csdn.net/liyuanbhu/article/details/51622695 感知器（Percep

第三節，TensorFlow 使用CNN實現手寫數字識別

啟用 out min 灰度 HA 打破 gre 大量 gray 上一節，我們已經講解了使用全連接網絡實現手寫數字識別，其正確率大概能達到98%，著一節我們使用卷積神經網絡來實現手寫數字識別， 其準確率可以超過99%，程序主要包括以下幾塊內容 [1]: 導入數據，即測試集和

10 行程式碼，實現手寫數字識別

識別手寫的阿拉伯數字，對於人類來說十分簡單，但是對於程式來說還是有些複雜的。   不過隨著機器學習技術的普及，使用10幾行程式碼，實現一個能夠識別手寫數字的程式，並不是一件難事。這是因為有太多的機器學習模型可以拿來直接用，比如tensorflow、caffe，在python下

用python的numpy實現神經網路 實現 手寫數字識別

首先是讀取檔案，train-images-idx3-ubyte等四個檔案是mnist資料集裡的資料。放在MNIST資料夾裡。MNIST資料夾和這個.py檔案放在同一個資料夾裡。 import numpy as np import struct train_images

python tensorflow 基於cnn實現手寫數字識別

感覺剛才的程式碼不夠給力，所以再儲存一份基於cnn的手寫數字自識別的程式碼 # -*- coding: utf-8 -*- import tensorflow as tf from tensorflow.examples.tutorials.mnist

PyTorch深度學習框架入門——使用PyTorch實現手寫數字識別

本文你將會了解到1、如何使用PyTorch對資料集進行匯入 2、如何使用PyTorch搭建一個簡

不用框架，python實現卷積神經網路

最近學習了卷積神經網路，推薦一些比較好的學習資源 對於網址，我大部分學習的資源和數學公式都是來源於此，強烈推薦學習。 對於網址2，我下面的程式碼就是在其基礎上改寫的，作者是用matlab實現的，這對於不會matlab的同學而言，會比較費時，畢竟， 我們要做的是搞懂卷積神

python-積卷神經網路全面理解-tensorflow實現手寫數字識別

　　　　首先，關於神經網路，其實是一個結合很多知識點的一個演算法，關於cnn（積卷神經網路）大家需要了解： 　　　　　　　　　　下面給出我之前總結的這兩個知識點（基於吳恩達的機器學習） 　　　　　　　　　　代價函式： 　　　　　　　　　　代價函式 　　　　　　　　　　代價函式（Cost Function ）是

TensorFlow(九)：卷積神經網絡實現手寫數字識別以及可視化

writer orm true 交叉 lar write 執行 one 界面 上代碼： import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist =

TensorFlow(十二)：使用RNN實現手寫數字識別

rop mea pre rnn ext ini tro truncate tutorial 上代碼： import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #

深度學習2--tensorflow--Softmax迴歸實現手寫數字識別

使用Softmax迴歸來實現手寫數字識別，即給定一張手寫數字，判斷屬於0--9中哪一個數字。 1.LR邏輯迴歸 先準備一下LR邏輯迴歸： 廣義線性模型：實現x到y的非線性對映： 在LR邏輯迴歸中取g函式：實現0--1對映  輸出值為  預測結果為1的概率

Python做手寫數字識別

最近在學neural networks and deeplearning這本書，也跟著做了一下實驗，這本書的地址是http://neuralnetworksanddeeplearning.com/chap1.html，當然網路上也有翻譯版的，可以下載看。由於剛開始學Python，難免會遇到很

機器學習--k-近鄰演算法（kNN）實現手寫數字識別

這裡的手寫數字以0,1的形式儲存在文字檔案中，大小是32x32.目錄trainingDigits有1934個樣本。0-9每個數字大約有200個樣本，命名規則如下： 下劃線前的數字代表是樣本0-9的

DCGAN實現手寫數字識別demo

論文解讀和原理介紹，在網上已經有大量文章，這裡就不在贅述。 論文地址：Unsupervised Representations Learning With Deep Convolutional Generative Adversarial Networks 論文解讀：深度卷積對抗生成網路

教你用TensorFlow實現手寫數字識別

弱者用淚水安慰自己，強者用汗水磨練自己。 這段時間因為專案中有一塊需要用到影象識別，最近就一直在煉丹，寶寶心裡苦，但是寶寶不說。。。 能點開這篇文章的朋友估計也已經對TensorFlow有了一定了解，至少知道這是個什麼東西，我也就不過多介紹了。 沒安裝TensorFlo

10 行程式碼實現手寫數字識別

可直接閱讀原文：http://c.raqsoft.com.cn/article/1540374496048?r=alice 識別手寫的阿拉伯數字，對於人類來說十分簡單，但是對於程式來說還是有些複雜的。   不過隨著機器學習技術的普及，使用10幾行程式碼，實現一個能夠識別手

各種機器學習方法（線性迴歸、支援向量機、決策樹、樸素貝葉斯、KNN演算法、邏輯迴歸）實現手寫數字識別並用準確率、召回率、F1進行評估

本文轉自：http://blog.csdn.net/net_wolf_007/article/details/51794254 前面兩章對資料進行了簡單的特徵提取及線性迴歸分析。識別率已經達到了85%， 完成了數字識別的第一步：資料探測。 這一章要做的就各