深度學習/機器學習入門基礎數學知識整理（五）：Jensen不等式簡單理解，共軛函式
Jensen不等式及其延伸
凸函式最基本的不等式性質，又稱Jensen不等式[1]
通俗一點講就是，期望的函式值小於等於函式值的期望。
許多著名的不等式都是由Jensen不等式在取特定的凸函式下延伸出來的，如均值不等式、Holder不等式（摘自convex optimization書）
共軛函式
定義：假設
顯然，定義式的右端是關於y的仿射函式，對它們逐點求上確界(sup)，得到的函式
共軛函式由來：凸函式的共軛函式的共軛函式是其本身。
對共軛函式的理解：如果函式
舉例一些典型共軛函式（參考[2]，寫的比較清楚了，就借用一下，推薦有興趣的同學可以手推一下，基本思路就是先確定有效定義域，然後求導等於0求max的x取值，用y的函式表示，然後帶回共軛函式的定義式子
共軛函式有一些性質，這裡只舉例2個最簡單的：
參考資料
相關推薦
深度學習/機器學習入門基礎數學知識整理（五）：Jensen不等式簡單理解，共軛函式
Jensen不等式及其延伸 凸函式最基本的不等式性質，又稱Jensen不等式[1] f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) 通俗一點講就是，期望的函式值小於等於函式值的期望。
深度學習/機器學習入門基礎數學知識整理（一）：線性代數基礎，矩陣，範數等
前面大概有2年時間，利用業餘時間斷斷續續寫了一個機器學習方法系列，和深度學習方法系列，還有一個三十分鐘理解系列（一些趣味知識）；新的一年開始了，今年給自己定的學習目標——以補齊基礎理論為重點，研究一些基礎課題；同時逐步繼續寫上述三個系列的文章。 最近越來越多的
深度學習/機器學習入門基礎數學知識整理（三）：凸優化，Hessian，牛頓法
凸優化理論本身非常博大，事實上我也只是瞭解了一個皮毛中的皮毛，但是對於廣大僅僅想要了解一下機器學習或者深度學習的同學來說，稍微瞭解一點凸優化也就夠了。在實際工程問題中，比如現在我們用的最多的深度神經網路的求解優化問題，都是非凸的，因此很多凸優化理論中非常有價值的
機器學習方法（五）：邏輯迴歸Logistic Regression，Softmax Regression
歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。 技術交流QQ群：433250724，歡迎對演算法、技術、應用感興趣的同學加入。 前面介紹過線性迴歸的基本知識，線性迴歸因為它的簡單，易用，且可以求出閉合解，被廣泛地
深度學習實踐操作—從小白到大白（五）：cuda & cudnn安裝
深度學習實踐操作—從小白到大白 目錄 五. cuda & cudnn安裝 1. CUDA8.0安裝及配置 sudo dpkg -i cuda-repo-ubuntu1604-8-0-rc_8.0.27-1_am
linux常用命令整理（五）：shell基礎
程序猿 逆向 多條 希望 正則表達 group 運行 ls命令 交互式 大家好，我是會唱歌的程序猿～～～～～～ 最近在學習linux，閑暇之余就把這些基本的命令進行了整理，希望大家能用的上，整理的的目的是在忘了的時候翻出來看看^?_?^，前後一共分為五個部分
Python基礎班每日整理（五）
承擔 類的屬性 設計 orien 字符 day01 列表 核心 python 03_面向對象_day01 面向對象的簡稱？面向對象編程 —— Object Oriented Programming 簡寫 OOP，是一種編程思想或者方式 面向對象和面向過程的區別？面向過程是
搞深度學習需掌握的基礎數學知識
IT 網際網路行業有個有趣現象，玩資本的人、玩產品的人、玩技術的人都能很好的在這個行業找到自己的位置並取得成功，而且可以只懂其中一樣，不需要懂其餘兩樣。玩技術的人是裡面最難做的，也是三者收益最低的，永遠都要不停學習，不停把畫餅變成煎餅。 在今年 5
Matlab 數學建模 方法（四）： 機器學習
1. MATLAB機器學習概況 機器學習 ( Machine Learning ) 是一門多領域交叉學科，它涉及到概率論、統計學、電腦科學以及軟體工程。 機器學習是指一套工具或方法，憑藉這套工具和方法，利用歷史資料對機器進行“訓練”進而“學習”到某種模式或規律，並建立預測
深度學習方法（五）：卷積神經網路CNN經典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning
歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。 技術交流QQ群：433250724，歡迎對演算法、技術感興趣的同學加入。 關於卷積神經網路CNN，網路和文獻中有非常多的資料，我在工作/研究中也用了好一段時間各種常見的model了，就想著
機器學習筆記（五）：樸素貝葉斯分類器
一、概述 1.1 簡介 樸素貝葉斯（Naive Bayesian）是基於貝葉斯定理和特徵條件獨立假設的分類方法，它通過特徵計算分類的概率，選取概率大的情況進行分類，因此它是基於概率論的一種機器學習分類方法。因為分類的目標是確定的，所以也是屬於監督學習。 Q1：什麼是基於概率論的方
吳恩達機器學習作業（五）：支援向量機
目錄 1）資料預處理 2）Scikit-learn支援向量機 3）決策邊界比較 4）非線性SVM 5）最優超引數 6）垃圾郵件過濾器 在本練習中，我們將使用支援向量機（SVM）來構建垃圾郵件分類器。 我們將從一些簡單的2D資料集開始使用SVM來檢視它們的工作原理。
[學習筆記]機器學習——演算法及模型（五）：貝葉斯演算法
傳統演算法（五） 貝葉斯演算法 一、貝葉斯定理 簡介 貝葉斯定理是18世紀英國數學家托馬斯·貝葉斯（Thomas Bayes）提出得重要概率論理論；貝葉斯方法源於他生前為解決一個“逆概”問題寫的一篇文章
機器學習筆記（五）：支援向量機（SVM）
支援向量機是目前機器學習的眾多演算法中使用得最為廣泛的演算法之一，本文主要介紹支援向量機的概念與原理。 目錄 什麼是支援向量機 硬間隔線性支援向量機 軟間隔線性支援向量機 非線性支援向量機 一、什麼是支援向量機 &nbs
Python3《機器學習實戰》學習筆記（五）：樸素貝葉斯實戰篇之新浪新聞分類
一 前言 拉普拉斯平滑 垃圾郵件過濾 新浪新聞分類 二 樸素貝葉斯改進之拉普拉斯平滑 上篇文章提到過，演算法存在一定的問題，需要進行改進。那麼需要改進的地方在哪裡呢？利用貝葉斯分類器對文件進行分類時，要計算多個概率的乘積以獲得
python3.5《機器學習實戰》學習筆記（五）：決策樹演算法實戰之預測隱形眼鏡型別
一、使用決策樹預測隱形眼鏡型別 在上一篇文章中，我們學習了決策樹演算法，接下來，讓我們通過一個例子講解決策樹如何預測患者需要佩戴的隱形眼鏡型別。 隱形眼鏡資料集是非常著名的資料集，它包含了很多患者眼部狀況的觀察條件以及醫生推薦的隱形眼鏡型別。隱形眼鏡
系統學習深度學習（五） --遞迴神經網路原理，實現及應用
但是大神們說，標準的RNN在實際使用中效果不是很好，真正起到作用的是LSTM，因此RNN只做簡單學習，不上原始碼（轉載了兩篇，第一個是簡單推導，第二個是應用介紹）。 下面是簡單推導，轉自：http://blog.csdn.net/aws3217150/article/details/5076
機器學習實戰系列（五）：SVM支援向量機
課程的所有資料和程式碼在我的Github：Machine learning in Action，目前剛開始做，有不對的歡迎指正，也歡迎大家star。除了 版本差異，程式碼裡的部分函式以及程式碼正規化也和原書不一樣（因為作者的程式碼實在讓人看的彆扭，我改過後看起來舒服多了）
深度學習系列（五）：一個簡單深度學習工具箱
本節主要介紹一個深度學習的matlab版工具箱， 該工具箱中的程式碼很簡單，感覺比較適合用來學習演算法。裡面有常見的網路結構，包括深度網路(NN),稀疏自編碼網路(SAE),CAE,深度信念網路(DBN)(基於玻爾茲曼RBM實現)，卷積神經網路(CNN
機器學習實戰教程（五）：樸素貝葉斯實戰篇之新浪新聞分類
原文連結： Jack-Cui，https://cuijiahua.com/blog/2017/11/ml_5_bayes_2.html 一、前言 上篇文章機器學習實戰教程（四）：樸素貝葉斯基礎篇之言論過濾器講解了樸素貝葉斯的基礎知識。本篇文章將在此基礎上進行擴充套件，你將看到以下內容： 拉普拉