一、GBDT公式推導

1、第一個基函式： $F_0(X)=\frac{1}{2}log\frac{1+\overline{y}}{1-\overline{y}} \tag{1.1}$ 對於損失函式$L(y, F)=log(1+e^{-2yF}), y\in \left\{-1, 1\right\}$，求損失函式最小對應的$F$值。求一階導數： $L^{'}=\frac{-2ye^{-2yF}}{1+e^{-2yF}} \tag{1.2}$

設 $\left\{\begin{array}{crl} &count(y=1)&=&m1\\ &count(y=-1)&=&m2 \end{array}\right. \tag{1.3}$ 則有 $\left\{\begin{array}{crl} &m1+m2&=&n\\ &\frac{m1-m2}{n}&=&\overline{y} \end{array}\right. \tag{1.4}$

即 $\left\{\begin{array}{crl}m1=\frac{n}{2}(1+\overline{y})\\m2=\frac{n}{2}(1-\overline{y})\end{array}\right. \tag{1.5}$

令$\sum{L^{'}=0}$得到, $\sum{L^{'}=\sum_{y=1}L^{'}+\sum_{y=-1}L^{'}=0} \tag{1.6}$

將$(1.5)$帶入$(1.6)$，得到， $\begin{matrix} L^{(t)}&=&\sum_{y=1}L^{'}+\sum_{y=-1}L^{'}\\\\ &=&\frac{n}{2}(1+\overline{y})*\frac{-2e^{-2F}}{1+e^{-2F}} + \frac{n}{2}(1-\overline{y})*\frac{2e^{2F}}{1+e^{2F}}\\\\ &=&\frac{n}{2}(1+\overline{y})*\frac{-2}{1+e^{2F}} + \frac{n}{2}(1-\overline{y})*\frac{2e^{2F}}{1+e^{2F}}\\\\ &=&\frac{n}{1+e^{2F}}[-(1+\overline{y}) + e^{2F}(1-\overline{y})] \end{matrix} \tag{1.7}$ 由式$(1.7)=0$解得$F=\frac{1}{2}ln\frac{1+\overline{y}}{1-\overline{y}}$.得證.

2、最優葉子節點取值： $\gamma_{jm}=\sum_{x_{i}\in R_{jm}}\widetilde{y}_i/\sum_{x_{i}\in R_{jm}}|\widetilde{y}_i|(2-|\widetilde{y}_i|),j=1,J\tag{1.8}$ 由文獻$[1]$中式$(23)$可得優化目標函式： $\gamma_{jm}=arg\mathop{min}\limits_{\gamma}\sum\limits_{x_i\in{R_jm}}log(1+e^{-2y_i(F_{m-1}(x_i)+\gamma）}) \tag{1.9}$

相關推薦