前言：本篇博文主要介紹邏輯迴歸（logistic regression），首先介紹相關的基礎概念和原理，然後通過Python程式碼實現邏輯迴歸的二分類問題。特別強調，其中大多理論知識來源於《統計學習方法_李航》和斯坦福課程翻譯筆記以及Coursera機器學習課程。

本篇博文的理論知識都來自於吳大大的Coursera機器學習課程，人家講的深入淺出，我就不一一贅述，只是簡單概括一下以及記一下自己的見解。

1.邏輯迴歸假設函式

邏輯迴歸一般用於分類問題較多，但是叫做“regression”，而線性迴歸一般不建議用於分類，因為輸出的y的值可能超出0/1範圍。這也就是為什麼邏輯迴歸假設函式裡面有sigmoid函式的原因了。

2.成本函式

邏輯迴歸問題不在採用“最小均方”誤差，因為裡面含有非線性的sigmiod函式，使得成本函式J不再是一個平滑的“碗”，容易導致“區域性最優”，所以採用如下cost function:

3.引數學習(梯度下降)

你會發現，這個跟線性迴歸模型的梯度下降表達上一模一樣，但是，你要知道，其中的h(x)是不一樣的！

4.Python程式碼實現

先看一下資料集，這是一種花的資料集，只取X中的兩個特徵（x1，x2），對於y中的兩個類別（0,1）

from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import numpy as np

iris = load_iris()
data = iris.data
target = iris.target
#print data[:10]
#print target[10:]
X = data[0:100,[0,2]]
y = target[0:100]
print X[:5]
print y[-5:]
label = np.array(y)
index_0 = np.where(label==0)
plt.scatter(X[index_0,0],X[index_0,1],marker='x',color = 'b',label = '0',s = 15)
index_1 =np.where(label==1)
plt.scatter(X[index_1,0],X[index_1,1],marker='o',color = 'r',label = '1',s = 15)

plt.xlabel('X1')
plt.ylabel('X2')
plt.legend(loc = 'upper left')
plt.show()
 

import numpy as np

class logistic(object):
    def __init__(self):
        self.W = None
    def train(self,X,y,learn_rate = 0.01,num_iters = 5000):
        num_train,num_feature = X.shape
        #init the weight
        self.W = 0.001*np.random.randn(num_feature,1).reshape((-1,1))
        loss = []
        
        for i in range(num_iters):
            error,dW = self.compute_loss(X,y)
            self.W += -learn_rate*dW
            
            loss.append(error)
            if i%200==0:
                print 'i=%d,error=%f' %(i,error)
        return loss
    
    def compute_loss(self,X,y):
        num_train = X.shape[0]
        h = self.output(X)
        loss = -np.sum((y*np.log(h) + (1-y)*np.log((1-h))))
        loss = loss / num_train
        
        dW = X.T.dot((h-y)) / num_train
    
        return loss,dW
    
    def output(self,X):
        g = np.dot(X,self.W)
        return self.sigmod(g)
    def sigmod(self,X):
        return 1/(1+np.exp(-X))
    
    def predict(self,X_test):
        h = self.output(X_test)
        y_pred = np.where(h>=0.5,1,0)
        return y_pred
 

import matplotlib.pyplot as plt

y = y.reshape((-1,1))
#add the x0=1
one = np.ones((X.shape[0],1))
X_train = np.hstack((one,X))
classify = logistic()
loss = classify.train(X_train,y)
print classify.W

plt.plot(loss)
plt.xlabel('Iteration number')
plt.ylabel('Loss value')


plt.show()

最後視覺化“決策邊界”

label = np.array(y)
index_0 = np.where(label==0)
plt.scatter(X[index_0,0],X[index_0,1],marker='x',color = 'b',label = '0',s = 15)
index_1 =np.where(label==1)
plt.scatter(X[index_1,0],X[index_1,1],marker='o',color = 'r',label = '1',s = 15)

#show the decision boundary
x1 = np.arange(4,7.5,0.5)
x2 = (- classify.W[0] - classify.W[1]*x1) / classify.W[2]
plt.plot(x1,x2,color = 'black')
plt.xlabel('X1')
plt.ylabel('X2')
plt.legend(loc = 'upper left')
plt.show()

ps:可以看出，最後學習得到的決策邊界（分類邊界）成功的隔開了兩個類別。當然，分類問題還有多分類問題（一對多），還有就是對於非線性分類問題，詳情請參見分享的資料。