機器學習中向量函式的求導問題

阿新 • • 發佈：2019-02-12

在機器學習演算法的學習過程中，經常會遇到對向量函式的求導問題，閱讀一些文章之後，對於機器學習演算法中經常用到的這些求導問題做一些說明，方便在不明白的時候可以進行查詢。

（一）對標量求導1)向量對標量求導，結果是個向量事實上就是向量的每一個元素對標量求導。舉個例子，對於 $y(x) = (y_1,\cdots,y_n)$ ，其中 $x$ 是個標量， $\frac{\partial y}{\partial x} = (\frac{\partial y_1}{\partial x}, \cdots, \frac{\partial y_n}{\partial x})$ 2)矩陣對標量求導，結果是個矩陣事實上也就是矩陣的每一個元素對標量求導。對於矩陣 $Y(x) = (y_{ij})$ , $\frac{\partial Y(x)}{\partial x} = (\frac{\partial y_{ij}}{\partial x})$ （二）對向量求導1) 標量對向量求導，結果是向量事實上這就是所謂的Gradient，即對於一般標量函式 $f(x)$ ,其中 $x = (x_1,\cdots,x_n)$ , $\frac{\partial f}{\partial x} = \left(\frac{\partial f}{\partial x_1} ,\cdots, \frac{\partial f}{\partial x_n} \right)$ ，有時候也記為為 $\nabla f$ . 2) 向量對向量求導，結果是矩陣這個當然也是gradient，當然這準確的說應該叫matrix gradient. 即對於向量值函式 $f(x)$

,其中 $x = (x_1,\cdots,x_n)$ , $f = (f_1,\cdots,f_m)$ $\nabla f = \frac{\partial f}{\partial x} = \frac{\partial f^T}{\partial x} = \left[\frac{\partial f_1}{\partial x},\cdots,\frac{\partial f_m}{\partial x} \right ] = \left[ \begin{array}{ccc} \frac{\partial f_{1}}{\partial x_1} & \cdots & \frac{\partial f_{m}}{\partial x_1} \\ \vdots& \ddots & \vdots \\ \frac{\partial f_{1}}{\partial x_n} & \cdots & \frac{\partial f_{m}}{\partial x_n} \\ \end{array} \right]$ 另外在實際運算中還會出現 $\partial f /\partial x^T = (\nabla f)^T$ ,這個也被叫做是f的Jacobian.

機器學習中向量函式的求導問題

機器學習中向量函式的求導問題

邏輯迴歸中代價函式求導的推導過程

機器學習常見的矩陣求導總結

機器學習中目標函式、損失函式以及正則項的通俗解釋

機器學習中常用的矩陣向量求導公式

機器學習中的矩陣向量求導(四) 矩陣向量求導鏈式法則

機器學習中的矩陣向量求導(五) 矩陣對矩陣的求導

機器學習中的求導

關於機器學習中支持向量機相關問題

Spark機器學習中ml和mllib中矩陣、向量

先驗概率、後驗概率、似然函式與機器學習中概率模型（如邏輯迴歸）的關係理解

機器學習中常用損失函式

似然函式和最大似然估計與機器學習中的交叉熵函式之間的關係

機器學習中的核函式與核方法（是什麼？為什麼？怎麼做？）

機器學習 --- 支援向量機的核函式

機器學習中Logistic損失函式以及神經網路損失函式詳解

吳恩達機器學習中協方差矩陣的向量表示推導

機器學習---支援向量機實戰（四）核函式實現

softmax + cross-entropy交叉熵損失函式詳解及反向傳播中的梯度求導

似然函式與最大似然估計、交叉熵概念與機器學習中的交叉熵函式

機器學習中向量函式的求導問題

相關推薦