參考：鄒博 《機器學習升級版》

1. 機器學習概論

• 1. 什麽是機器學習

  • 定義：對於某給定的任務T，在合理的性能度量方案P的前提下，某計算機程序可以自主學習任務T的經驗E；隨著提供合適、優質、大量的經驗E，該程序對於任務T的性能逐步提高。——by Tom Michael Mitchell
  • 通俗理解：機器學習是人工智能的一個分支。我們使用計算機設計一個系統 ，使它能夠根據提供的訓練數據按照一定的方式來學習 ；隨著訓練次數的增加，該系統可以在性能上不斷學習和改進；通過參數優化的學習模型，能夠用於預測相關問題的輸出。——by 鄒博
  • 機器學習的對象（最重要）
    • 任務 Task,T ，一個或者多個
    • 經驗 Experience,E
    • 性能 Performance,P
  • 結論：隨著任務的不斷執行，經驗的累積會帶來計算機性能的提升。　　

• 2. 機器學習的內涵與外延

• • 學習方式：
    • 有監督學習
    • 無監督學習
    • 增強學習
  • 可以解決：
    
    • 數據清洗/特征選擇
    • 確定算法模型/參數優化
    • 結果預測

• • 不可以解決：
    • 大數據存儲/並行計算
    • 做一個機器人

• 3. 機器學習的一般流程

  • 數據挖掘 / 機器學習的流程與西紅柿炒雞蛋
  • 

• 4.機器學習方法

  • 

2. 數學分析基礎

• 1.問題分析

  • 

• 2.構造數列{x_n}

  • 

• 3.自然常數

  • 

• 4.導數

  • 

• 5.常用函數的導數

  • 

• 6.應用1

  • 

• 7.求解 x^x

  • 

• 8.積分應用2：

  • 

• 9.Taylor公式–Maclaurin公式

  • 

• 10.Taylor公式的應用1：計算e^x
  

  • 

  • 

• 11.Taylor公式的應用2

  • 

• 12.方向導數

  • 

• 13.梯度

  • 

• 14.Γ函數 ：

  • 
  • 

• 15.凸函數

  • 

• 16.一階可微

  • 

• 17.二階可微

  • 

• 18.凸函數舉例

  • 

3. 術語摘錄

• 頻數：也稱“次數”，對總數據按某種標準進行分組，統計出各個組內含個體的個數。我們把各個類別及其相應的頻數全部列出來就是“頻數分布”或稱“次數分布”。
  • Count(X)
• 凝固程度：
  • X = A.B
  • P(A)P(B) vs P(X)
• 自由程度：
  • aXb
  • 信息熵 H(a) 、 H(b)
• 熵：熱力學中表征物質狀態的參量之一，用符號S表示，其物理意義是體系混亂程度的度量。
• 最大熵模型 ：給定一個概率分布，則熵的定義為：Hp=−p（x）logp(x)
  
  • 自然語言處理解決標記問題
• 線性回歸：線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關系的一種統計分析方法，運用十分廣泛。其表達形式為y = w‘x+e，e為誤差服從均值為0的正態分布。
• 正態分布：正態分布（Normal distribution），也稱“常態分布”，又名高斯分布（Gaussian distribution）。
  • 正態曲線呈鐘型，兩頭低，中間高，左右對稱因其曲線呈鐘形，因此人們又經常稱之為鐘形曲線。圖像如下所示：
    
    • 
• 標準正態分布：若隨機變量X服從一個數學期望為μ、方差為σ^2的正態分布，記為N(μ，σ^2)。其概率密度函數為正態分布的期望值μ決定了其位置，其標準差σ決定了分布的幅度。當μ = 0,σ = 1時的正態分布是標準正態分布。
• EM算法：指的是最大期望算法（Expectation Maximization Algorithm，又譯期望最大化算法），是一種叠代算法，在統計學中被用於尋找，依賴於不可觀察的隱性變量的概率模型中，參數的最大似然估計。
• GMM ：高斯混合模型，也可以簡寫為MOG。
• 高斯模型：就是用高斯概率密度函數精確地量化事物，將一個事物分解為若幹的基於高斯概率密度函數形成的模型。
• 卷積：簡單定義：卷積是分析數學中一種重要的運算。
  • 設:f(x),g(x)是R1上的兩個可積函數，作積分：
  • 可以證明，關於幾乎所有的實數x，上述積分是存在的。這樣，隨著x的不同取值，這個積分就定義了一個新函數h(x)，稱為函數f與g的卷積，記為h(x)=(f*g)(x)。
  • 卷積與傅裏葉變換有著密切的關系。利用一點性質，即兩函數的傅裏葉變換的乘積等於它們卷積後的傅裏葉變換，能使傅裏葉分析中許多問題的處理得到簡化。
• 正則化：由卷積得到的函數f*g一般要比f和g都光滑。特別當g為具有緊致集的光滑函數，f為局部可積時，它們的卷積f * g也是光滑函數。利用這一性質，對於任意的可積函數f，都可以簡單地構造出一列逼近於f的光滑函數列fs，這種方法稱為函數的光滑化或正則化。
  • 訓練方法：
    
    • 梯度下降法：
      
      • 
    • 牛頓法：
      
      • 
• ICA : ICA是20世紀90年代提出的，起初是神經網絡的研究中有一個重要的問題，獨立成分分析是一個解決問題的新方法。在許多應用方面，包括特征識別、信號分離。這種方法是用一種解線性方程組的方式的估計方式求解信號源。
• SVM：SVM(Support Vector Machine)指的是支持向量機，是常見的一種判別方法。在機器學習領域，是一個有監督的學習模型，通常用來進行模式識別、分類以及回歸分析。
  • 與核技術相結合
• HMM : 隱馬爾可夫模型（Hidden Markov Model，HMM）是統計模型，它用來描述一個含有隱含未知參數的馬爾可夫過程。其難點是從可觀察的參數中確定該過程的隱含參數。然後利用這些參數來作進一步的分析，例如模式識別。
• 馬爾可夫過程：馬爾可夫過程（Markov process）是一類隨機過程。它的原始模型馬爾可夫鏈，由俄國數學家A.A.馬爾可夫於1907年提出。馬爾可夫過程是研究離散事件動態系統狀態空間的重要方法，它的數學基礎是隨機過程理論。
• LDA : 是一種文檔主題生成模型，也稱為一個三層貝葉斯概率模型，包含詞、主題和文檔三層結構。
• 生成模型：就是說，我們認為一篇文章的每個詞都是通過“以一定概率選擇了某個主題，並從這個主題中以一定概率選擇某個詞語”這樣一個過程得到。文檔到主題服從多項式分布，主題到詞服從多項式分布。
• 輿情：是指在一定的社會空間內，圍繞中介性社會事件的發生、發展和變化，作為主體的民眾對作為客體的社會管理者、企業、個人及其他各類組織及其政治、社會、道德等方面的取向產生和持有的社會態度。它是較多群眾關於社會中各種現象、問題所表達的信念、態度、意見和情緒等等表現的總和。
• 聚類：將物理或抽象對象的集合分成由類似的對象組成的多個類的過程被稱為聚類。
  • K-means/K-Mediods/密度聚類/譜聚類
• K-means：K-means算法是很典型的基於距離的聚類算法，采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。該算法認為簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標。
• K-Mediods：K-mediods算法就是基於劃分方法的一種聚類算法，確切的說，是對K-means算法的一種改進算法。
• 降維：通過單幅圖像數據的高維化，將單幅圖像轉化為高維空間中的數據集合，對其進行非線性降維。尋求其高維數據流形本征結構的一維表示向量，將其作為圖像數據的特征表達向量。
  • PCA/SVD/ICA
• PCA : PCA(principal Component Analysis)，即主成分分析方法，是一種使用最廣泛的數據壓縮算法。在PCA中，數據從原來的坐標系轉換到新的坐標系，由數據本身決定。轉換坐標系時，以方差最大的方向作為坐標軸方向，因為數據的最大方差給出了數據的最重要的信息。第一個新坐標軸選擇的是原始數據中方差最大的方法，第二個新坐標軸選擇的是與第一個新坐標軸正交且方差次大的方向。重復該過程，重復次數為原始數據的特征維數。
• SVD：奇異值分解（Singular Value Decomposition）是線性代數中一種重要的矩陣分解，是矩陣分析中正規矩酉對角化的推廣。在信號處理、統計學等領域有重要應用。
• 主題模型pLSA/LDA：主題模型（Topic Model）是用來在一系列文檔中發現抽象主題的一種統計模型。
  • 與聚類、標簽傳遞算法相結合
• 標簽傳遞算法：標簽傳播（LPA）算法是最早的基於標簽的一種算法，是所有基於標簽的算法的基礎。標簽傳播算法最大的特色是簡單、高效，缺點是每次叠代結果不穩定，準確率不高。
• 條件隨機場
  • 無向圖模型，鏈式條件隨機場解決標記問題
• 變分推導Variation Inference：
  • 與EM、貝葉斯相結合，參數、隱變量的學習
• 深度學習：
  
  • 大規模神經網絡

機器學習升級版（VII）——第1課 機器學習與數學分析