簡述

以前都是用ReLU()，第一見到LeakyReLU()，就研究了下原始碼中的註釋。

函式影象

LeakyReLU()是有一個引數的。
其實不難猜到，這個引數就是在小於0的部分的曲線的斜率。

程式碼

import torch
import torch.nn as nn
from torch.autograd import Variable
import matplotlib.pyplot as plt
import numpy as np
x = Variable(torch.linspace(-10, 10, 101))
varis = np.linspace(
 
0.01, 1, 10)
for v in varis:
    y = nn.LeakyReLU(v)(x)
    plt.plot(x.data.numpy(), y.data.numpy(), label='v=%.3f' % v)
plt.legend()
plt.show()