輸入

$X_i=(x_{i0}$

, x i 1 , . . . , x i ( n − 1 ) ) X_i=(x_{i0},x_{i1},...,x_{i(n-1)}) $i \in [0,m-1]$ batch-size等於m,特徵維度n

輸出

$Y_i=(y_{i0},y_{i1},...,y_{i(n-1)})$ $i \in [0,m-1]$ 維度和輸入 $X$一致

前向計算

1. 均值
   $\mu = {\mu_0,\mu_1,...,\mu_n}$ 其中
   $\mu_p = \frac{1}{m}\sum_ix_{ip}$

2. 方差
   $\sigma = {\sigma_0,\sigma_1,...,\sigma_n}$ 其中
   $\sigma_p = \frac{1}{m}\sum_i(x_{ip}-\mu_p)^2$

3. 中間結果
   $\overline x_{ip}=\frac{x_{ip}-\mu_p}{\sqrt{\sigma_p^2+\epsilon}}$

4. 結果
   $y_{ip}=\gamma_p \overline x_{ip}+\beta_p$ 其中
   引數 $\gamma = {\gamma_0, \gamma_1,...,\gamma_{n-1}}$ 和
   $\beta = {\beta_0,\beta_1,...,\beta_{n-1}}$
   是learnable parameters

反向計算

$\frac{\partial O}{\partial x_{ij}}=\sum_{kl}{ \frac{\partial O}{\partial y_{kl}} } \frac{\partial y_{kl}}{\partial x_{ij}} = \sum_{kl}{ \frac{\partial O}{\partial y_{kl}} } \frac{\partial y_{kl}}{\partial \overline x_{ij}} \frac{\partial \overline x_{ij}}{\partial x_{ij}} = \sum_{kl}{ \frac{\partial O}{\partial y_{kl}} } \gamma_l \frac{\partial \overline x_{ij}}{\partial x_{ij} } \quad (1)$