1.概念準備

• 1.1 遞迴與迭代

  迭代是人，遞迴是神。

  區別	定義	優缺點
  遞迴（recursion）	程式呼叫自身	1.問題大化小，減少程式碼量 2.易造成堆疊溢位，浪費空間
  迭代（iterate）	利用變數的原值推算出變數的新值	1.效率高，不增加空間開銷 2.不易理解，程式碼不如遞迴簡介

• 1.2 資訊熵（H(X)）

  概念由來：資訊理論–>資訊量–>自資訊–>資訊熵。

  資訊理論研究資訊的量化、傳輸、儲存，一個事件中包含的資訊量用自資訊(I(X))來量化。
  $I\left(X\right)=$

  l o g 1 p ( x
  ) I(X)=log\cfrac{1}{p_{(x)}}

​ 資訊熵公式
$H(X)=E[I(X)]=E(\log\cfrac{1}{p_{(x)}}))=E[-\log(p_{(x)})]=\sum(p_{(x)}\log\cfrac{1}{p_{(x)}}))$
​ 熵的本質是對不確定性的度量，用數學公式表達只與概率p(x)有關，是資訊的期望值。熵值越高，則資料混合的種類越多，其可能的變化越多，攜帶的資訊量也就越大，只與值的種類和各種類發生概率有關。（與具體的值無關）

​ 物理意義是平均編碼長度。

​ 資訊理論中 $log$底數用2，對應單位是 $bit$；機器學習中習慣用 $e$，對應單位為 $nat$；底數用10，對應單位為 $Hart$。

• 1.3條件熵(H(Y|X))

  表示已知隨機變數X的前提下，隨機變數Y的不確定性。
  $H(Y|X)=\sum_x p_{(x)}H(Y|X=x)) \\ =\sum_xp_{(x)}\sum_yp_{(y|x)}\log\cfrac{1}{p{(y|x)}}\\ =-\sum_{xy}p_{(x)}p_{(y|x)}\log p_{(y|x)}\\ =-\sum_{xy}p_{(x,y)}\log\cfrac{p_{(x,y)}}{p_{(x)}}\\ =\sum_{xy}p_{(x,y)}\log\cfrac{p_{(x)}}{p_{(x,y)}}$
  其中，條件概率（又稱為後驗概率）：

$p_{(y|x)}=\cfrac {p_{(x,y)}}{p_{(x)}}$

​ 通俗理解條件熵。
$p_{(y|x)}=\cfrac{p_{(x,y)}}{p_{(x)}}$

• 1.4 交叉熵

  以上是從資訊理論來理解資訊熵。從**計算機編碼角度（物理含義）**來理解：資訊熵是隨機變數平均編碼的最小長度。資訊熵是完美編碼，交叉熵是不完美編碼，相對熵是兩者差值，差值也稱為差異，即KL散度。
  $Relative Entropy() = Cross Entropy() - Information Entropy()$
  對於一個以 $p$為概率的樣本集X（資訊熵 $ H ( X ) = E ( I ( X ) ) = E ( log ⁡ 1 p ( x 相關推薦 小白自學機器學習之一文讀懂決策樹演算法詳解 1.概念準備 1.1 遞迴與迭代 迭代是人，遞迴是神。 區別 定義 優缺點 遞迴（recursion） 程式呼叫自身 小白自學機器學習----3.令人頭禿的pytorch安裝 （No module named 'tools.nnwrap' 錯誤） tensorflow 剛剛會寫基礎的模組了，今天找到研究方向的程式碼是pytorch實現的 總是看到這句話，人生苦短，我用pytorch 看來pytorch應該比tensorflow好學，但是！! pytorch的安裝，也太讓人頭禿了，接下來講講我是如何艱辛的安裝上pytorch   1.pychr 機器學習-10（最優決策樹演算法的實際展示） 網上一大堆的文章，但是他們的介紹並沒有實際上說明為什麼使用最優決策樹，決策樹到底是什麼玩意 我這裡也不做類似的白話文解釋了，直接附圖來詳細生動的例子給大家演示why OK，現在我們先以是否浮出水面來分類 最終結果如圖 ok,經過我們層層的決策，結果如圖 獨家| 一文讀懂決策樹（超詳細原理） 最經典的決策樹演算法有ID3、C4.5、CART，其中ID3演算法是最早被提出的，它可以處理離散屬性樣本的分類，C4.5和CART演算法則可以處理更加複雜的分類問題，本文重點介紹ID3演算法。 1、決策樹基本流程 決策樹 (decision tree) 是一類常見的機器學習方法。它是對給定的 機器學習之決策樹演算法詳解 1-1 基本流程 決策樹是一個有監督分類與迴歸演算法。 決策樹的生成只考慮區域性最優，相對的，決策樹剪枝則考慮全域性最優。 一、概念： 決策樹：是一種樹形結構，其中每個內部節點表示一個屬性上的判斷，每個分支代表一個判斷結果的輸出，最後每個葉節點代表一 機器學習(25)之K-Means聚類演算法詳解 微信公眾號 關鍵字全網搜尋最新排名 【機器學習演算法】：排名第一 【機器學習】：排名第一 【Python】：排名第三 【演算法】：排名第四 前言 K-Means演算法是無監督的聚類演算法，它實現起來比較簡單，聚類效果也不錯，因此應用很廣泛。K-Means演算法有大量的變體，本文就從最傳統的K-Means演算 機器學習之KNN（k近鄰）演算法詳解 1-1 機器學習演算法分類 一、基本分類： ①監督學習（Supervised learning） 資料集中的每個樣本有相應的“正確答案”， 根據這些樣本做出 預測， 分有兩類： 迴歸問題和分類問題。 步驟1： 資料集的建立和分類 步 新手小白自學hibernate，官方文檔錯誤，導致的坑爹歷程 開始 images ota cli 沒有 奇怪 測試 4.3 XML 因為是自學的hibernate，所以我先是上網找了些hibernate的視頻來看了幾天，再瀏覽的官方文檔，最後才開始動手做實踐操作，沒想到剛開始就出問題了，我將官方文檔上的hibernate.cfg.xm 小白的機器學習筆記系列 之四-邏輯迴歸 一個概率問題 前面我們講了線性分類和線性迴歸，這裡讓我們來思考另外一類問題——求概率問題。 比如說，我們根據一個人的既往病歷，生活習慣，年齡等來判斷一個人是否會得心肌梗塞。我們想要的答案不僅僅是一個簡單的是或否，實際上我們希望知道的是得心肌梗塞的風險有多大。醫生 【乾貨】小白的機器學習乾貨 （更新） 下文的這些連結都是筆者在初學機器學習時的一些資源乾貨，其中有大部分需要科學上網才能瀏覽。 維基百科 機器學習 —— 維基百科 Matrix calculus（矩陣求導）—— 維基百科 最小二乘法 —— 維基百科 線性迴歸 —— 維基百科 多項式 —— 維基百科 【機器學習】機器學習Top10演算法，教你選擇最合適的那一個！一文讀懂ML中的解析解與數值解... 在機器學習領域裡，不存在一種萬能的演算法可以完美解決所有問題，尤其是像預測建模的監督學習裡。比方 Kaggle正式賽首戰top3%分享，小白獻給機器學習新手 8月15號結束的instacart kaggle比賽首戰 top3% 69名。程式碼我就不貼了，第二第三的程式碼論壇裡都找得到。我這裡主要講方法和注意事項： 以我不深的比賽經歷，我覺得kaggle主要是一個靠特徵工程和模型調參，和模型融合的比賽 第一 論壇和kernel裡 機器學習入門 - 1. 介紹與決策樹(decision tree) recursion machine learning programmming 機器學習(Machine Learning) 介紹與決策樹(Decision Tree)機器學習入門系列 是 個人學習過程中的一些記錄與心得。其主要以要點形式呈現，簡潔明了。1.什麽是機器學習？一個比較概括的理解是: 《機器學習》第三章 決策樹學習 筆記加總結 分類問題 子集 觀察 組成 cas 普通 重復 1.0 需要 《機器學習》第三章 決策樹學習 決策樹學習方法搜索一個完整表示的假設空間，從而避免了受限假設空間的不足。決策樹學習的歸納偏置是優越選擇較小的樹。 3.1.簡介 決策樹學習是一種逼近離散值目標函數的方法，在這種方法 機器學習二——分類算法--決策樹DecisionTree 其中 .cn 比較 輸出 選擇 結構 沒有 ati 流程圖 機器學習算法評估標準：準確率，速度，強壯性（噪音影響較小），可規模性，可解釋性。 1、決策樹 Decision Tree：決策樹是一個類似於流程圖的樹結構，其中每個內部節點表示在一個屬性上的測試，每一個分支代表 機器學習--DIY筆記與感悟--②決策樹（1） lis ... 編寫代碼 需要 總結 初始化 對數 三分 xtend 在完成了K臨近之後，今天我們開始下一個算法--->決策樹算法。 一、決策樹基礎知識 如果突然問你"有一個陌生人叫X,Ta今天需要帶傘嗎?", 你一定會覺得這個問題就像告訴你"兩千米外有一個超市, 機器學習實戰（二）決策樹DT（Decision Tree、ID3演算法） 目錄 0. 前言 1. 資訊增益（ID3） 2. 決策樹（Decision Tree） 3. 實戰案例 3.1. 隱形眼鏡案例 3.2. 儲存決策樹 3.3. 決策樹畫圖表示 學習完機器學習實戰的決策樹，簡單的做 機器學習實戰讀書筆記(2)--決策樹 決策樹 決策樹的一個重要任務是為了資料中所蘊含的知識資訊,因此決策樹可以使用一系列不熟悉的資料集合,並從中提取系列規則,在這些機器根據資料集建立規則時,就是機器學習的過程.專家系統中經常使用決策樹 決策樹的構造 優點:計算複雜度不高,輸出結果易於理解,對中間值缺失不敏 機器學習總結（八）決策樹ID3，C4.5演算法，CART演算法 本文主要總結決策樹中的ID3,C4.5和CART演算法，各種演算法的特點，並對比了各種演算法的不同點。 決策樹：是一種基本的分類和迴歸方法。在分類問題中，是基於特徵對例項進行分類。既可以認為是if-then規則的集合，也可以認為是定義在特徵空間和類空間上的條件概率分佈。 決策樹模型：決策樹由結點和有向邊組 機器學習筆記（參考吳恩達機器學習視訊筆記）16_決策樹 16 決策樹 決策樹是一種監督學習演算法，以樹狀圖為基礎，其輸出結果為一系列簡單實用的規則。它就是一系列的if-then語句，既可以用於分類問題，也可以用於迴歸問題。構建決策樹之通常包括三個步驟：        1）特徵選擇   &n $