閱讀時間：2017年12月
更新時間：2018年6月，合併了在《Frontiers in computational neuroscience》上發表的同名文章

文章資訊

• 題目：基於STDP非監督學習的數字識別
  刊物：IEEE Transactions on Neural Networks and Learning Systems；Frontiers in Computational Neuroscience
  年份：2015
  作者：Peter U. Diehl and Matthew Cook
  機構： the Institute of Neuroinformatics, ETH Zurich and University Zurich

文章內容

背景

1. the recent development of neuromorphic hardware and rely on mechanisms commonly implemented on neuromorphic hardware;
2. 因為是仿生物神經網路的，SNN在低功耗智慧應用上具有廣闊的前景（unmatched pattern recognition performance given a power consumption of 10-20 Watts），尤其是當應用的學習階段功耗佔主要部分時，以及應用需要不斷學習已適應或提高效能時。
3. the task of designing SNN-based pattern recognition system is still challenging; large scale function systems.
4. 理解並運用在生物神經網路中發現的神經元、突觸等生物結構，以及認知運作的機理

簡介

• neuromorphic hardware可以實現低功耗神經網路，比如傳送一個Spike只需要pJ~nJ，一個突觸的功耗是幾個pW（接近生物的功耗）。
• SNN在演算法上還不足以應對機器學習應用。
• SNN的兩種實現路徑：spike-based learning，學習方法主要是STDP，和rate-based learning，學習方法主要是BP。
• 本文設計了一種基於能夠在neuromorphic chips 上部署的生物神經系統的結構和機制（LIF神經元，電導突觸，指數型動態特性，橫向抑制，可調節發射閾值）的STDP無監督學習SNN神經網路演算法，6400個神經元實現對MNIST資料集95%的分類精度。

主要工作及特點：

設計了一種基於STDP的SNN無監督學習演算法，特點：unsupervised, neuromorphic hardware compatibility, scalability, state-of-art accuracy, and no domain specific knowledge
- 強調所設計的SNN是有可實現的硬體基礎的，或者說是 relies on mechanisms commonly used by neruromorphic hardware，例如LIF神經元，電導突觸，指數型動態特性，橫向抑制（lateral inhibition），可調節發射閾值(adaptive threshold)。
- 非監督學習，學習時不需要標籤，訓練結束後對神經元歸類即可，不需要SVM或者線性層。
- 良好的規模伸縮性，scalability，網路的準確度是可以隨規模增大提升的（但是有一定上限），100/400/1600/6400個啟用型神經元對應的預測精度分別為82.9%/87.0%/91.9%/95.0%。
- - 不需要對輸入資料做預處理（除了從畫素點到尖峰序列的轉化）
- 所提出的學習機制與k-means和competitive learning algorithm有相似之處，每個神經元會學習到輸入的一小部分模式（pattern）
- 在非監督和沒有領域知識的情況下取得了很好的準確度95%，具有發掘通用智慧的潛力。

實驗結果

6400個神經元可以實現95%的手寫字元識別率。

設計細節

1. 神經元和突觸模型
   神經元模型：integrated -and-fire model
   $$\tau\frac{dV}{dt}=(E_{rest}-V)+g_{inh}(E_{inh}-V)+g_{exc}(E_{exc}-V)$$
   $V$是薄膜電壓，$v_rest$是神經元的resting potential（應該是一種靜息電壓）$\tau$是啟用/抑制型神經元薄膜的時間常數，$g_e$和 $g_i$分別是啟用型和抑制型突觸的電導,$E_{exc}$和$E_{inh}$分別是啟用型和抑制型突觸的等效電勢。當薄膜電壓超過了閾值$v_{thres}$神經元就向外發射尖峰脈衝訊號，然後薄膜電壓會復位到$v_{reset}$。
   突觸模型：通過電導的改變來模擬，如果有前神經元的尖峰訊號到達突觸，突觸的電導就瞬間增強至權值，如果沒有就呈指數方式衰減，如果前神經元是啟用型的，突觸電導的更新公式如下。
   $$\tau_{g_e}\frac{dg_e}{dt}=-g_e$$
   如果前神經元是抑制型的，就將相應的常數換成抑制型的。
   $$\tau_{g_i}\frac{dg_i}{dt}=-g_i$$
   模型中運用的全部引數都是來自於生物神經元，除了啟用型神經元薄膜的時間常數從10-20ms增加到100ms，這樣可以提高精度。具體的原因是作者對輸入的編碼是一種畫素強度-尖峰頻率的poisson分佈，而且頻率控制在生物神經元的發射頻率範圍內（～60Hz），如果時間常數太短則接收的的資訊很小，而且容易受到噪聲的影響。
2. 網路結構
   輸入層和啟用層前向全連線，啟用層和抑制層一對一前向連線，抑制層與啟用層反向全連線（recurrent）（除了與已經前向連線的啟用單元）
   
3. 學習機制
   突觸除了儲存權值還記錄一個Spike Trace值$x_{tra}$，一個presynaptic spike到了之後$x_{tra}$就加1，同時$x_{tra}$還遵循一個指數衰減規律。
   $$\tau_{x_{pre}}\frac{dx_{pre}}{dt}=-x_{pre}$$
   $\tau_{x_{pre}}$是衰減的時間常數。另外，$x_{pre}$在每次前神經元訊號到達後加1。
   當postsynaptic spike產生後，權值啟動更新計算，更新的數值依賴於兩個部分，一個部分是當前權值與最大權值的差，另外一部分是$x_{tra}$與$x_{tar}$(猜測是後期確定的一個參變數)的差，具體計算公式如下：
   $$\delta{w}=\eta(x_{pre}-x_{tar})(w_{max}-w)^\mu$$
4. 學習平衡(homoeostasis)
   輸入訊號的不均勻性以及lateral inhibition的加強會導致少數神經元一直佔據著某個pattern，從而抑制了其他神經元，降低了學習效率。為了充分發揮每個神經元的學習能力（學習到不同的pattern），在訓練過程中需要保持神經元發射頻率的平衡（homoeostasis）。Homoeostasis helps to give each neuron a fair chance to compete。具體的方法是動態閾值調整，調高發射頻率高的神經元的閾值（由於薄膜電壓是通過電導型突觸連線的，薄膜電壓達到啟用型神經元的等效電壓後就將一直不可能啟用），從而讓它的發射頻率不至於過高。動態閾值調整的計算方法如下：
   τθdθdt=θ
   相關推薦

   Rewiew: Unsupervised Learning of Digit Recognition Using Spike-Timing-Dependent Plasticity(IEEE)

   閱讀時間：2017年12月 更新時間：2018年6月，合併了在《Frontiers in computational neuroscience》上發表的同名文章 文章資訊 題目：基於STDP非監督學習的數字識別 刊物：IEEE Transactions on Neur

   【論文筆記】Unsupervised Learning of Video Representations using LSTMs

   這篇文章是深度學習應用在視訊分析領域的經典文章，也是Encoder-Decoder模型的經典文章，作者是多倫多大學深度學習開山鼻祖Hinton教授的徒子徒孫們，引用量非常高，是視訊分析領域的必讀文章。 摘要翻譯 我們使用長短時記憶（Long Short

   SFMLearner：Unsupervised Learning of Depth and Ego-Motion from Video論文筆記

   1. Abstract 提出了一種無監督單目深度估計和相機運動估計的框架 利用視覺合成作為監督資訊，使用端到端的方式學習 網路分為兩部分（嚴格意義上是三個） 單目深度估計 多檢視姿態估計 解釋性網路（論文後面提到訓練了第三個網路） 2. Introduction 計算機幾何視覺難以重建真實的場景

   Unsupervised Learning and Text Mining of Emotion Terms Using R

   true nio sha heatmap this trac tel examples sed Unsupervised learning refers to data science approaches that involve learning without a p

   讀書筆記25：2D/3D Pose Estimation and Action Recognition using Multitask Deep Learning（CVPR2018）

   摘要：首先指出背景，即action recognition和human pose estimation是兩個緊密相連的領域，但是總是被分開處理。然後自然地引出本文的模型，本文的模型就針對這個現狀，提出了一個multitask framework，既能從靜態image中進行

   [CVPR 18] Discriminative Learning of Latent Features for Zero-Shot Recognition

   本文亮點：對人類定義屬性進行擴充，學習隱含屬性。 ZSL 零樣本學習(zero-shot learning, ZSL)詳見鄭哲東在知乎中的回答。它的目標是通過訓練階段從已見類別中學習到的知識，來識別未見類別。 Abstract 摘要：零樣本學習（ZSL）

   Facebook axe accounts of Russian firms using facial recognition

   Facebook has removed accounts, pages and apps linked to firms which build facial recognition software for the Russian government. The social media giant an

   [Learning Deep Features for Scene Recognition using Places Database]場景分類demo的實現

   需要預先安裝包： numpy pytorch opencv-python Pillow 首先將places365的程式碼git到本地： git clone https://github.com/CSAILVision/places365.git

   Number of Digit One

   span war n-n ota ... ret 情況 每次 10個 Given an integer n, count the total number of digit 1 appearing in all non-negative integers less th

   Leetcode 233 Number of Digit One

   solution lee -m 依據 1.8 leet 2.4 ret general 1. 問題描寫敘述 　　給定一個整數n，在全部不大於n的非負整數中，計算包括數字1的整數的個數。比如n=13n = 13的結果為6。包括1的數字有1，10，11，1

   LeetCode 233. Number of Digit One

   tdi pan follow return number mil sta etc family Given an integer n, count the total number of digit 1 appearing in all non-negative integ

   233. Number of Digit One（統計1出現的次數）

   BE question because cti action git scrip ase pear Given an integer n, count the total number of digit 1 appearing in all non-negative

   Scalability of Kafka Messaging using Consumer Groups

   oge caused read over com together each HR same May 10, 2018By Suhita GoswamiNo Comments Categories: Data Ingestion Flume Kafka Use Case

   Deep Residual Learning for Image Recognition

   ant PE ear network sub cit test error inpu Kaiming HeXiangyu ZhangShaoqing RenMicrosoft Research {kahe, v-xiangz, v-shren, jiansun}@micr

   Unsupervised Learning: Linear Dimension Reduction---無監督學習：線性降維

   避免 other 介紹 near -s func 例子 get 特征選擇 一 Unsupervised Learning 把Unsupervised Learning分為兩大類： 化繁為簡：有很多種input，進行抽象化處理，只有input沒有output 無中生

   【論文翻譯】ResNet論文中英對照翻譯--（Deep Residual Learning for Image Recognition）

   【開始時間】2018.10.03 【完成時間】2018.10.05 【論文翻譯】ResNet論文中英對照翻譯--（Deep Residual Learning for Image Recognition） 【中文譯名】深度殘差學習在影象識別中的應用 【論文連結】https://arx

   ResNet: Deep Residual Learning for Image Recognition詳解

   Deep Residual Learning for Image Recognition 這是一篇2015年何凱明在微軟團隊提出的一篇大作，截止目前其論文引用量達12000多次。 摘要    網路比較深的模型比較難以訓練。作者提出了一個殘差學習的框架來減輕模型的訓練難度，

   Incremental Learning of Object Detectors without Catastrophic Forgetting詳解

   Incremental Learning of Object Detectors without Catastrophic Forgetting詳解 最近由於專案的需要在研究incremental learning在目標檢測方面的應用，剛好讀到了INRIA在2007年的一篇paper，採

   Keras下實現 Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising

   使用Keras實現 Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising 這篇文章。 generator_data.py import glob import os import

   Deep Residual Learning for Image Recognition（譯）

   轉載自：http://blog.csdn.net/wspba/article/details/57074389   僅供參考，如有翻譯不到位的地方敬請指出。 論文地址：Deep Residual Learning for Image Recognition 摘要 越深的