深度學習（十七）
1、在殘差網路中利用1*1進行降維，即設計一個瓶頸層來使得網路更深可能不是一個好主意，網路的通道更多即網路更寬一些在實驗中可能更能利用GPU的運算資源。
2、一個訓練的技巧，當使用較小的學習率時使用較大的動量，使用較大的學習率時使用較小的動量，兩者的關係如圖所示：
3、如果損失函式的表現是非平穩的，那麼基於動量的優化方法會很差，此時可以使用RMSProp.
4、GAN的評估目前還是一個問題，GAN可能會發生模式崩潰，即生成的圖片目標種類匱乏，缺乏多樣性
相關推薦
深度學習（十七）
1、在殘差網路中利用1*1進行降維，即設計一個瓶頸層來使得網路更深可能不是一個好主意，網路的通道更多即網路更寬一些在實驗中可能更能利用GPU的運算資源。 2、一個訓練的技巧，當使用較小的學習率時使用較大的動量，使用較大的學習率時使用較小的動量，兩者的關係如圖所示： 3、如果損失函式的表
深度學習（十七）——SSD, YOLOv2
SSD SSD是Wei Liu於2016年提出的演算法。 論文： 《SSD: Single Shot MultiBox Detector》 程式碼： 網路結構 YOLO有一些缺陷：每個網格只預測一個物體，容易造成漏檢；對於物體的尺
機器學習與深度學習系列連載： 第一部分 機器學習（十七）非監督度學習-2 Unsupervised Learning-4（Generative Models）
生成模型 Generative Models 用非監督學習生成結構化資料，是非監督模型的一個重要分支，本節重點介紹三個演算法： Pixel RNN ，VAE 和GAN（以後會重點講解原理） 1. Pixel RNN RNN目前還沒有介紹，，以後會重點講解，大家
python學習（十七） 擴展python
生成 實現 語言 擴展 運行速度 ava python學習 簡單 用c語言實現 c, c++, java比python快幾個數量級。 17.1 考慮哪個更重要 開發速度還是運行速度更重要。 17.2 非常簡單的途徑：Jython和IronPython Jython可以直接訪
C++語言學習（十七）——模板
china typename itl while ptr 特殊 實例化 需求 所有 C++語言學習（十七）——模板 一、模板簡介 泛型(Generic Programming)即是指具有在多種數據類型上皆可操作的含意。 泛型編程的代表作品STL是一種高效、泛型、可交互操作的
深度學習（十二）wide&deep model
結合 稀疏 正則化 深度學習 img div 網絡 傳遞 討論 推薦系統在電商等平臺使用廣泛，這裏討論wide&deep推薦模型，初始是由google推出的，主要用於app的推薦。 概念理解 Wide & Deep模型，旨在使得訓練得到的模型能夠同時獲得
深度學習（十一）RNN入門學習
RNN入門學習 原文地址：http://blog.csdn.net/hjimce/article/details/49095371 作者：hjimce 一、相關理論 RNN(Recurrent Neural Networks)中文名又稱之為：迴圈神經網路（原來還有一個遞迴神經網路
深度學習（十九）基於空間金字塔池化的卷積神經網路物體檢測
原文地址：http://blog.csdn.net/hjimce/article/details/50187655 作者：hjimce 一、相關理論 本篇博文主要講解大神何凱明2014年的paper：《Spatial Pyramid Pooling in Dee
機器學習之python學習（十七）
今天來學習python中的tuple、 這個資料結果用的還是比較少的。 當然了，你們也可以參考廖雪峰大神的python教學快速入門。 程式碼塊 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : SundayC
JMeter學習（十七）JMeter測試Java 目的：對Java程式進行測試
目的：對Java程式進行測試 目錄 一、核心步驟 二、例項 三、JMeter Java Sampler介紹 四、自帶Java Request Sampler 一、核心步驟 1.建立一個Java工程； 2.將JMeter的lib目錄下
機器學習與深度學習系列連載： 第二部分 深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM）
深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM） RNN處理時間序列資料的時候，不僅可以正序，也可以正序+逆序（雙向）。下面顯示的RNN模型，不僅僅是simple RNN，可以是LSTM，或者GRU 1 B
機器學習與深度學習系列連載： 第二部分 深度學習（十五）迴圈神經網路 3（Gated RNN - GRU）
迴圈神經網路 3（Gated RNN - GRU） LSTM 是1997年就提出來的模型，為了簡化LSTM的複雜度，在2014年 Cho et al. 提出了 Gated Recurrent Units (GRU)。接下來，我們在LSTM的基礎上，介紹一下GRU。 主要思路是： •
機器學習與深度學習系列連載： 第二部分 深度學習（十四）迴圈神經網路 2（Gated RNN - LSTM ）
迴圈神經網路 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特點，所以，在實際應用中，帶有門限的RNN模型變種（Gated RNN）起著至關重要的作用，下面我們來進行介紹： LSTM (Long Short-term Memory )
機器學習與深度學習系列連載： 第二部分 深度學習（十二）卷積神經網路 3 經典的模型（LeNet-5，AlexNet ，VGGNet，GoogLeNet，ResNet）
卷積神經網路 3 經典的模型 經典的卷積神經網路模型是我們學習CNN的利器，不光是學習原理、架構、而且經典模型的超引數、引數，都是我們做遷移學習最好的源材料之一。 1. LeNet-5 [LeCun et al., 1998] 我們還是從CNN之父，LeCun大神在98年提出的模
機器學習與深度學習系列連載： 第二部分 深度學習（十一）卷積神經網路 2 Why CNN for Image？
卷積神經網路 2 Why CNN 為什麼處理圖片要用CNN？ 原因是： 一個神經元無法看到整張圖片 能夠聯絡到小的區域，並且引數更少 圖片壓縮畫素不改變圖片內容 1. CNN 的特點 卷積： 一些卷積核遠遠小於圖片大小； 同樣的pat
機器學習 （十七）kaggle競賽之泰坦尼克號專案實戰-2
導航 想寫這篇部落格的由衷是做完幾個專案，有時對於圖的畫法和模型融合演算法原理理解還很膚淺，特此加深一下印象。 內容概覽 圖 pandas、matplotlib、seaborn 餅圖 直方圖
python學習（十七）——補充內建函式、使用迭代器協議實現斐波那契數列、描述符、pycharm的問題
一、補充內建函式 #--------------------------isinstance/isinbclass-------------- class Foo: pass class Bar(Foo): pass b1=Bar() print(isinstance(b1,
深度學習（十六）
1、學習率改變的新方法：剛開始陡升，後來慢慢下降；其中32是最大的學習率與最小的學習率之比，10代表第一個epoch升高，後面九個epoch緩緩下降 2、Concat pooling：即將啟用值，啟用值的平均池化，啟用值的最大池化連線在一起 3、注意力機制其實就是對不同的狀態進行加權
深度學習（十一）
寫在前面的話：此部分是關於fastai的學習部分 1、學習率的調整是訓練模型的一個重要的方面，可以設定隨迭代次數增長的學習率，畫出影象，再畫出學習率與損失函式的關係，通過損失函式確定合適的學習率，如下圖： 需要注意的是，一般不將學習率設定到損失函式的最低點，而是要比那個學習率稍小
opencv學習（十七）：影象金子塔
邊緣檢測運算元 參考學習連結：https://blog.csdn.net/xiaowei_cqu/article/details/7829481 影象金子塔 參考學習連結：https://www.cnblogs.com/Matrix420/p/4214123.html open