pytorch系列12 --pytorch自定義損失函式custom loss function
本文主要內容：
- nn.Module 和 nn.Functional 區別和聯絡
- 自定義損失函式
1. 關於nn.Module與nn.Functional的區別：
https://discuss.pytorch.org/t/whats-the-difference-between-torch-nn-functional-and-torch-nn/681
https://www.zhihu.com/question/66782101
簡答的說就是， nn.Module是一個包裝好的類，具體定義了一個網路層，可以維護狀態和儲存引數資訊；而nn.Functional僅僅提供了一個計算，不會維護狀態資訊和儲存引數。
對於activation函式，比如（relu， sigmoid等），dropout，pooling等沒有訓練引數，可以使用functional模組。
2. 自定義損失函式
前面講過，只要Tensor算數操作（+， -，*， %，求導等）中，有一個Tesor
的resquire_grad=True,則該操作得到的Tensor具有反向傳播，自動求導的功能。
因而只要自己實現的loss使用tensor提供的math operation就可以。
所以第一種自定義loss函式的方法就是使用tensor的math operation實現loss定義
1. 繼承於nn.Module
在forward中實現loss定義，注意：
- 所有的數學操作使用tensor提供的math operation
- 返回的tensor是0-dim的scalar
- 有可能會用到nn.functional中的一些操作https://www.zhihu.com/question/66988664
自定義MSEloss實現：
class My_loss(nn.Module):
def __init__(self):
super().__init__()
def forward(self, x, y):
return 使用：
criterion = My_loss()
loss = criterion(outputs, targets)
2. 自定義函式
看一自定義類中，其實最終呼叫還是forward實現，同時nn.Module還要維護一些其他變數和狀態。不如直接自定義loss函式實現：
# 2. 直接定義函式 ， 不需要維護引數，梯度等資訊
# 注意所有的數學操作需要使用tensor完成。
def my_mse_loss(x, y):
return torch.mean(torch.pow((x - y), 2))
3. 繼承於nn.autograd.function
要自己實現backward和forward函式，可能一些演算法nn.functional中沒有提供，要使用numpy或scipy中的方法實現。
這個要自己定義實現前向傳播和反向傳播的計算過程
幾篇部落格：
https://oldpan.me/archives/pytorch-nn-module-functional-backward
https://blog.csdn.net/tsq292978891/article/details/79364140
最後附上前兩種自定義方法的測試程式碼：
# -*- coding: utf-8 -*-
"""
Created on Thu Nov 15 11:04:25 2018
@author: duans
"""
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
#自定義損失函式
# 1. 繼承nn.Mdule
class My_loss(nn.Module):
def __init__(self):
super().__init__()
def forward(self, x, y):
return torch.mean(torch.pow((x - y), 2))
# 2. 直接定義函式 ， 不需要維護引數，梯度等資訊
# 注意所有的數學操作需要使用tensor完成。
def my_mse_loss(x, y):
return torch.mean(torch.pow((x - y), 2))
# 3, 如果使用 numpy/scipy的操作 可能使用nn.autograd.function來計算了
# 要實現forward和backward函式
# Hyper-parameters 定義迭代次數， 學習率以及模型形狀的超引數
input_size = 1
output_size = 1
num_epochs = 60
learning_rate = 0.001
# Toy dataset 1. 準備資料集
x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],
[9.779], [6.182], [7.59], [2.167], [7.042],
[10.791], [5.313], [7.997], [3.1]], dtype=np.float32)
y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573],
[3.366], [2.596], [2.53], [1.221], [2.827],
[3.465], [1.65], [2.904], [1.3]], dtype=np.float32)
# Linear regression model 2. 定義網路結構 y=w*x+b 其中w的size [1,1], b的size[1,]
model = nn.Linear(input_size, output_size)
# Loss and optimizer 3.定義損失函式， 使用的是最小平方誤差函式
# criterion = nn.MSELoss()
# 自定義函式1
criterion = My_loss()
# 4.定義迭代優化演算法， 使用的是隨機梯度下降演算法
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
loss_dict = []
# Train the model 5. 迭代訓練
for epoch in range(num_epochs):
# Convert numpy arrays to torch tensors 5.1 準備tensor的訓練資料和標籤
inputs = torch.from_numpy(x_train)
targets = torch.from_numpy(y_train)
# Forward pass 5.2 前向傳播計算網路結構的輸出結果
outputs = model(inputs)
# 5.3 計算損失函式
# loss = criterion(outputs, targets)
# 1. 自定義函式1
# loss = criterion(outputs, targets)
# 2. 自定義函式
loss = my_mse_loss(outputs, targets)
# Backward and optimize 5.4 反向傳播更新引數
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 可選 5.5 列印訓練資訊和儲存loss
loss_dict.append(loss.item())
if (epoch+1) % 5 == 0:
print ('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item()))
# Plot the graph 畫出原y與x的曲線與網路結構擬合後的曲線
predicted = model(torch.from_numpy(x_train)).detach().numpy()
plt.plot(x_train, y_train, 'ro', label='Original data')
plt.plot(x_train, predicted, label='Fitted line')
plt.legend()
plt.show()
# 畫loss在迭代過程中的變化情況
plt.plot(loss_dict, label='loss for every epoch')
plt.legend()
plt.show()