2. 程式人生 > >【Scikit-Learn 中文文件】神經網路模型（無監督）- 無監督學習

【Scikit-Learn 中文文件】神經網路模型（無監督）- 無監督學習

阿新 • • 發佈：2019-01-25

2.13.1.3. 隨機最大似然學習

在 BernoulliRBM 函式中實現的學習演算法被稱為隨機最大似然（Stochastic Maximum Likelihood (SML)）或持續對比發散（Persistent Contrastive Divergence (PCD)）。由於資料的似然函式的形式，直接優化最大似然是不可行的:

\log P(v) = \log \sum_h e^{-E(v, h)} - \log \sum_{x, y} e^{-E(x, y)}

為了簡單起見，上面的等式是針對單個訓練樣本所寫的。相對於權重的梯度由對應於上述的兩個項構成。根據它們的符號，它們通常被稱為正梯度和負梯度。在這種實現中，按照小批量梯度（mini-batches of samples ）對梯度進行計算。

在 maximizing the log-likelihood （最大化對數似然度）的情況下，正梯度使模型更傾向於與觀察到的訓練資料相容的隱藏狀態。由於 RBM 的二分體結構，可以有效地計算。然而，負梯度是棘手的。其目標是降低模型偏好的聯合狀態的能量，從而使資料保持真實。可以通過馬爾可夫鏈蒙特卡羅近似，使用塊 Gibbs 取樣，通過迭代地對每個給定另一個的 v

 和 h 進行取樣，直到鏈混合。以這種方式產生的樣品有時被稱為幻想粒子。這是無效的，很難確定馬可夫鏈是否混合。

對比發散方法建議在經過少量迭代後停止鏈，k 通常為 1.該方法快速且方差小，但樣本遠離模型分佈。

持續的對比分歧解決這個問題。而不是每次需要梯度啟動一個新的鏈，並且只執行一個 Gibbs 取樣步驟，在 PCD 中，我們保留了在每個權重更新之後更新的 k Gibbs 步長的多個鏈（幻想粒子）。這使得顆粒更徹底地探索空間.

相關推薦

【Scikit-Learn 中文文件】神經網路模型（無監督）- 無監督學習

2.13.1.3. 隨機最大似然學習 在 BernoulliRBM 函式中實現的學習演算法被稱為隨機最大似然（Stochastic Maximum Likelihood (SML)）或持續對比發散（Persistent Contrastive Divergence (PCD)）。由於資料的似然函式的形

【Scikit-Learn 中文文件】新異類和異常值檢測

2.11. 新異類和異常值檢測 許多應用需要能夠判斷新觀測是否屬於與現有觀測相同的分佈（它是一個非線性的），或者應該被認為是不同的（這是一個異常值）。 通常，這種能力用於清理實際的資料集。 必須做出兩個重要的區別： 新奇檢測: 訓練

【Scikit-Learn 中文文件】分解成分中的訊號（矩陣分解問題）

2.5.1.3. PCA 使用隨機SVD 通過丟棄具有較低奇異值的奇異向量成分，將資料降維到低維空間並保留大部分方差是非常有意義的。 例如，如果我們使用64x64畫素的灰度級影象進行人臉識別，資料的維數為4096， 在這樣大的資料上訓練含RBF核心的支援向量機是很慢的。 此外我們知道資料本

【Scikit-Learn 中文文件】線性和二次判別分析

1.2. 線性和二次判別分析 這些分類器十分具有魅力，因為他們可以很容易計算得到閉式解，其天生的多分類特性，在實踐中已經證明很有效，並且不需要再次調參。 以上這些影象展示了 Linear Discriminant Analysis （線性判別分析）以及 Quadratic Disc

【Scikit-Learn 中文文件】二十四：協方差估計 / 經驗協方差 / 收斂協方差 / 稀疏逆協方差 / Robust 協方差估計

2.8.1. 基本收斂 儘管是協方差矩陣的無偏估計， 最大似然估計不是協方差矩陣的特徵值的一個很好的估計， 所以從反演得到的精度矩陣是不準確的。 有時，甚至出現數學原因，經驗協方差矩陣不能反轉。 為了避免這樣的反演問題，引入了經驗協方差矩陣的一種變換方式：shrinkage 。 在 scikit-le

【Scikit-Learn 中文文件】處理文字資料

載入這20個新聞組的資料集 該資料集名為 “Twenty Newsgroups”. 下面就是這個資料集的介紹, 來源於 網站: 20 個新聞組資料集是一個近 包括了20,000 個新聞組檔案的彙編，（幾乎）平均分成了 20 個不同新聞組. 據我們所知，這最初是由 Ken Lang 收集的 ，很可能是為了

機器學習 Python scikit-learn 中文文件（3）使用 scikit-learn 介紹機器學習

與官方文件完美匹配的中文文件，請訪問 https://www.studyai.cn 與官方文件完美匹配的中文文件，請訪問 https://www.studyai.cn Logo 首頁 安裝 文件 案例 Fork me on GitHub Previous scikit-learn

機器學習 Python scikit-learn 中文文件（2）教程目錄

與官方文件完美匹配的中文文件，請訪問 https://www.studyai.cn 與官方文件完美匹配的中文文件，請訪問 https://www.studyai.cn scikit-learn 教程 使用 scikit-learn 介紹機器學習 機器學習：問題設定 載入示例資

機器學習 Python scikit-learn 中文文件 （1）

與官方文件完美匹配的中文文件，請訪問 https://www.studyai.cn 與官方文件完美匹配的中文文件，請訪問 https://www.studyai.cn Logo 首頁 安裝 文件 案例 ‹› scikit-learn 在Python中進行機器學習 簡單且高效的

機器學習 Python scikit-learn 中文文件（7）模型選擇: 選擇合適的估計器及其引數

模型選擇: 選擇合適的估計器及其引數 與官方文件完美匹配的中文文件，請訪問 https://www.studyai.cn Score, 和 cross-validated scores 交叉驗證生成器 網格搜尋與交叉驗證估計器 網格搜尋 自帶交叉驗證的估計器 模型選擇: 選擇

【深度學習基礎-07】神經網路演算法（Neural Network）上--BP神經網路基礎理論

目錄 1 起源 2 多層向前神經網路（Multilayer Feed-Forward Neural Network） 3 設計神經網路  4 交叉驗證方法 5 BP神經網路演算法 1 起源 以人腦中的神經網路為啟發，出現過不同的版本 最著名的演算法是19

ASP.NET Core 中文文件 第四章 MVC（4.6）Areas（區域）

Areas 是 ASP.NET MVC 用來將相關功能組織成一組單獨名稱空間（路由）和資料夾結構（檢視）的功能。使用 Areas 建立層次結構的路由，是通過新增另一個路由引數 area 到 Controller 和 action。 Areas 提供了一種把大型 ASP.NET Core MVC Web 應用

ASP.NET Core 中文文件 第五章 測試（5.2）整合測試

整合測試確保應用程式的元件組裝在一起時正常工作。 ASP.NET Core支援使用單元測試框架和可用於處理沒有網路開銷請求的內建測試的網路主機整合測試。 章節： 整合測試介紹 整合測試驗證應用程式不同的部位是否正確地組裝在一起。不像單元測試，整合測試經常涉及到應用基礎設施，如資料庫，檔案系統，網路資源

ASP.NET Core 中文文件 第四章 MVC（4.2）控制器操作的路由

ASP.NET Core MVC 使用路由 中介軟體 來匹配傳入請求的 URL 並對映到具體的操作。路由通過啟動程式碼或者特性定義。路由描述 URL 路徑應該如何匹配到操作。路由也同樣用於生成響應中返回的 URL（用於連結）。 這篇文章將解釋 MVC 和路由之間的相互作用，以及典型的 MVC 應用程式如何使

ASP.NET Core 中文文件 第四章 MVC（4.1）Controllers, Actions 和 Action Results

Action 和 action result 是開發者使用 ASP.NET MVC 構建應用程式的基礎部分。 什麼是 Controller 在 ASP.NET MVC 中， 控制器（ Controller  ）用於定義和聚合操作（Action）的一個集合。操作（ 或操作方法 ）是控制器中處理入站請求的一個方

ASP.NET Core 中文文件 第四章 MVC（2.3）格式化響應資料

ASP.NET Core MVC 內建支援對相應資料（response data）的格式化，用來修正格式或生成客戶端指定的格式。 特定格式的操作結果 某些操作結果（Action result）的型別是指定的特定格式，比如 JsonResult 或 ContentResult。Action 可以返回格式化為

ASP.NET Core 中文文件 第四章 MVC（4.4）依賴注入和控制器

ASP.NET Core MVC 控制器應通過它們的構造器明確的請求它們的依賴關係。在某些情況下，單個控制器的操作可能需要一個服務，在控制器級別上的請求可能沒有意義。在這種情況下，你也可以選擇將服務作為 action 方法的引數。 章節： 依賴注入 依賴注入（Dependency injection，

ASP.NET Core 中文文件 第四章 MVC（4.3）過濾器

ASP.NET MVC 過濾器 可在執行管道的前後特定階段執行程式碼。過濾器可以配置為全域性有效、僅對控制器有效或是僅對 Action 有效。 過濾器如何工作？ 不同的過濾器型別會在執行管道的不同階段執行，因此它們各自有一套適用場景。根據你實際要解決的問題以及在請求管道中執行的位置來選擇建立不同的過濾器。

ASP.NET Core 中文文件 第四章 MVC（3.8）檢視中的依賴注入

ASP.NET Core 支援在檢視中使用 依賴注入 。這將有助於提供檢視專用的服務，比如本地化或者僅用於填充檢視元素的資料。你應該儘量保持控制器和檢視間的關注點分離（separation of concerns）。你的檢視所顯示的大部分資料應該從控制器傳入。 章節： 一個簡單的示例 你可以使用 @i

ASP.NET Core 中文文件 第四章 MVC（3.7 ）區域性檢視（partial）

ASP.NET Core MVC 支援區域性檢視，當你需要在多個不同檢視間重用同一個頁面部件時會顯得特別有用。 什麼是區域性檢視？ 區域性檢視是在其它檢視中被渲染的檢視。區域性檢視執行後生成的 HTML 結果會被渲染到呼叫方檢視或父檢視中。跟檢視檔案一樣，區域性檢視檔案也使用 .cshtml 作為副檔名。