機器學習回顧篇（4）：邏輯迴歸
1 引言
邏輯不邏輯，迴歸非迴歸。
回想當年初次學習邏輯迴歸演算法時，看到”邏輯迴歸“這個名字，第一感覺是這是一個與線性迴歸類似的迴歸類別的演算法，只不過這個演算法突出”邏輯“，或者與某個以”邏輯“命名的知識點有關。可後來卻發現，這是一個坑死人不償命的名字——邏輯迴歸演算法不是迴歸演算法，是分類演算法，也與邏輯無關，要說有關也僅是因為它的英文名字是Loginstics，音譯為邏輯而已（所以也有資料稱之為邏輯斯蒂迴歸)。
2 邏輯迴歸原理
2.1 從線性迴歸到邏輯迴歸
在上一篇博文中，我們詳細說過迴歸演算法與分類演算法的區別。邏輯迴歸既然是分類演算法，為什麼不叫邏輯分類而是邏輯迴歸呢？在我看來，這是因為邏輯迴歸用迴歸的思路去解決分類的問題。
假設有如下圖所示的一個數據集，使用線性迴歸演算法，我們可以找到大致如黑線的一個線性模型對其進行擬合。對於迴歸演算法，需要做的是對資料集中每一個${{x}_{i}}$，都能通過模型找到一個${{y}_{i}}$（預測值）與之對應。
獲得了預測值${{y}_{i}}$，我們就可以做很多事情了，例如：分類。我們可以對${{y}_{i}}$進行分段，例如，在${{y}}$軸上取一值$M$，當${{y}_{i}}<M$時，我們將其標記到類0中，當${{y}_{i}}>M$時，我們將其標記到另一類1中，如下圖所示：
這就實現了以迴歸的思路來實現分類。
但邏輯迴歸可不止線上性迴歸的基礎上做這些事情。在上一篇介紹線性迴歸的博文的末尾，我們提到，線性迴歸有一個很致命的缺陷——對異常值很敏感，如果資料集中出現異常值，擬合出來的線性模型也將出現很大變化，預測出來的結果也將不在那麼準確，從而到導致分類錯誤。如下圖所示，資料集中出現一個異常點（綠點），那麼擬合出來的模型就可能從原來的黑線變為綠線，此時，當資料集中有某一點$x\in ({{x}_{1}},{{x}_{2}})$時，該點就回被誤判，例如圖中橙色點，在原本黑線模型中，該點預測出來的${{y}}$值大於$M$，被標記到1類中，但在綠線模型中，其${{y}}$值就小於$M$，就回被誤標記到0類中。
邏輯迴歸演算法對線性迴歸對異常資料敏感的不足進行了優化改進。怎麼改進呢？最直觀的方法就是將直線“掰彎”。“掰彎”之後，就算出現異常資料，模型主體部分也不會出現太多改變，從而解決線性迴歸模型對異常值敏感的問題，如下圖所示：
而我們所用的“掰彎”方法就是用sigmod函式與線性函式進行復合。
2.2 sigmod函式
sigmoid函式也叫Logistic函式，函式表示式如下：
$g(z)=\frac{1}{1+{{e}^{-x}}}$其中，$e$為自然對數，是一個常數，值約為$2.71828$。
函式影象如下：
從函式影象可以看出， sigmoid函式可以很好地將$(-\infty ,+\infty )$內的數對映到$(0,1)$ 上，於是我們可以將$g(z)\ge 0.5$時我們可以將該條資料標記為1類， $g(z)<0.5$時標記為0類。即：
\[y=\left\{ _{0,\text{ }g(x)<0.5}^{1,\text{ }g(x)\ge 0.5} \right.\]
其中$y$表示分類結果。
通常，在邏輯迴歸演算法應用中，模型可不會如同上面的sigmoid函式那麼簡單，而是sigmoid函式與線性函式的組合：
\[g(x)=\frac{1}{1+{{e}^{-z}}}\]
其中，$z$就是線性迴歸中的預測值，即：
\[z=f(x)={{\theta }_{0}}+{{\theta }_{1}}{{x}_{1}}+{{\theta }_{2}}{{x}_{2}}+\cdots +{{\theta }_{n}}{{x}_{n}}\]所以有：
\[h(x)=\frac{1}{1+{{e}^{-({{\theta }_{0}}+{{\theta }_{1}}{{x}_{1}}+{{\theta }_{2}}{{x}_{2}}+\cdots +{{\theta }_{n}}{{x}_{n}})}}}\]
用矩陣方式表示：
\[h(x)=g(z)=g({{\theta }^{T}}x)=\frac{1}{1+{{e}^{-{{\theta }^{T}}x}}}\]
其中，$\theta =\left[ \begin{matrix}
{{\theta }_{0}} \\
{{\theta }_{1}} \\
\vdots \\
{{\theta }_{n}} \\
\end{matrix} \right]$，$x=\left[ \begin{matrix}
{{x}_{0}} \\
{{x}_{1}} \\
\vdots \\
{{x}_{n}} \\
\end{matrix} \right]$
3 損失函式
下一步我們要做的就是如何求取最佳擬合模型的問題了。線上性迴歸演算法中，我們使用誤差平方和或者均方誤差來作為損失函式，但是在邏輯迴歸中，這個方法不再使用，因為已被證明，在邏輯迴歸模型中使用誤差平方和作為損失函式的話，會存在在許多區域性最小值點，在求解引數的過程中很容易陷入區域性最小值點，而無法求得真正的最小值點。
上面說過，$h(x)\in (0,1)$，這一點的性質剛好與概率$p\in [0,1]$的性質吻合（當做概率使用的理由不止這點），故而我們可以將其當做$h(x)$值當做資料被標記為1類的概率，即：
\[p(y=1|x;\theta )=h(x)\]
\[p(y=0|x;\theta )=1-h(x)\]
當給定$y$為1時，即屬於1類時，$h(x)$越趨近於1，被預測為1類的概率就越大，損失（誤差）就越小；反之，當給定$y$為0時，即屬於0類時，$h(x)$越趨近於1，被預測為0類的概率就越小，損失（誤差）就越大，於是，我們可以定義損失函式：
\[\cos t(h(x),y)=\left\{ _{-\log (1-h(x)),\text{ }y=0}^{-\log (h(x)),\text{ }y=1} \right.\]
對所有資料集中$x$損失累加然後求平均，有：
\[J(\theta )=-\frac{1}{m}\sum\limits_{i=1}^{m}{\cos (h(x),y)}\]
由於$y$的取值為0或1，結合上面兩個公式可以得到：
\[J(\theta )=-\frac{1}{m}\sum\limits_{i=1}^{m}{({{y}_{i}}\log (h({{x}_{i}}))+(1-{{y}_{i}})\log (1-h({{x}_{i}})))}\]
這個函式就是我們邏輯迴歸的損失函式,我們把它稱為交叉熵損失函式。
接下來就是針對的優化問題，也就是求得最小值，在這位大佬的部落格裡推導過程寫得很詳細，我自愧不如，就不獻醜了。
4 程式碼實現
import torch
from torch import nn
from torch.autograd import Variable
import matplotlib.pyplot as plt
import numpy as np
# 假資料
n_data = torch.ones(100, 2) # 資料的基本形態
x0 = torch.normal(2*n_data, 1) # 型別0 x data (tensor), shape=(100, 2)
y0 = torch.zeros(100) # 型別0 y data (tensor), shape=(100, 1)
x1 = torch.normal(-2*n_data, 1) # 型別1 x data (tensor), shape=(100, 1)
y1 = torch.ones(100) # 型別1 y data (tensor), shape=(100, 1)
# 注意 x, y 資料的資料形式是一定要像下面一樣 (torch.cat 是在合併資料)
x = torch.cat((x0, x1), 0).type(torch.FloatTensor) # FloatTensor = 32-bit floating
y = torch.cat((y0, y1), 0).type(torch.FloatTensor) # LongTensor = 64-bit integer
# 畫圖
# plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=y.data.numpy(), s=100, lw=0, cmap='RdYlGn')
# plt.show()
class LogisticRegression(nn.Module):
def __init__(self):
super(LogisticRegression, self).__init__()
self.lr = nn.Linear(2, 1)
self.sm = nn.Sigmoid()
def forward(self, x):
x = self.lr(x)
x = self.sm(x)
return x
logistic_model = LogisticRegression()
if torch.cuda.is_available():
logistic_model.cuda()
# 定義損失函式和優化器
criterion = nn.BCELoss()
optimizer = torch.optim.SGD(logistic_model.parameters(), lr=1e-3, momentum=0.9)
# 開始訓練
for epoch in range(10000):
if torch.cuda.is_available():
x_data = Variable(x).cuda()
y_data = Variable(y).cuda()
else:
x_data = Variable(x)
y_data = Variable(y)
out = logistic_model(x_data)
loss = criterion(out, y_data)
print_loss = loss.data.item()
mask = out.ge(0.5).float() # 以0.5為閾值進行分類
correct = (mask == y_data).sum() # 計算正確預測的樣本個數
acc = correct.item() / x_data.size(0) # 計算精度
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 每隔20輪列印一下當前的誤差和精度
if (epoch + 1) % 20 == 0:
print('*'*10)
print('epoch {}'.format(epoch+1)) # 訓練輪數
print('loss is {:.4f}'.format(print_loss)) # 誤差
print('acc is {:.4f}'.format(acc)) # 精度
# 結果視覺化
w0, w1 = logistic_model.lr.weight[0]
w0 = float(w0.item())
w1 = float(w1.item())
b = float(logistic_model.lr.bias.item())
plot_x = np.arange(-7, 7, 0.1)
plot_y = (-w0 * plot_x - b) / w1
plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=y.data.numpy(), s=100, lw=0, cmap='RdYlGn')
plt.plot(plot_x, plot_y)
plt.show()
4 總結
總結一下邏輯迴歸的優缺點：
優點：
1）預測結果是介於0和1之間的概率；
2）可以適用於連續性和類別性自變數；
3）容易使用和解釋。
缺點：
1）對模型中自變數多重共線性較為敏感，例如兩個高度相關自變數同時放入模型，可能導致較弱的一個自變量回歸符號不符合預期，符號被扭轉。需要利用因子分析或者變數聚類分析等手段來選擇代表性的自變數，以減少候選變數之間的相關性；
2）預測結果呈“S”型，因此從log(odds)向概率轉化的過程是非線性的，在兩端隨著log(odds)值的變化，概率變化很小，邊際值太小，slope太小，而中間概率的變化很大，很敏感。 導致很多區間的變數變化對目標概率的影響沒有區分度，無法確定閥值。
參考：
https://blog.csdn.net/out_of_memory_error/article/details/81275651
https://www.cnblogs.com/yiduobaozhiblog1/p/8872903.html
https://blog.csdn.net/ligang_csdn/article/details/53838743
https://baijiahao.baidu.com/s?id=1620514366177013756&wfr=spider&fo