CS231n
計算機視覺歷史回顧與介紹
第一課時：
  深度神經網路：卷積神經網路
  計算機視覺是跨學科的領域
  NLP 自然語言處理
  生物進化出眼睛
  相機的出現
  基礎視覺皮層(處理視覺)
第二課時：
  通過實驗發現，視覺處理的第一步是對簡單的形狀結構處理
  簡單的邊緣結構，邊緣決定了結構
  (論文)block world
  CVPR,ICCV
  分層的模型
  感知分組
  人臉檢測，富士山相機的人臉檢測-2006年
第三課時：
   ImageNet（5000萬張，2萬個分類）
   ImageNet 挑戰賽(針對ImageNet的計算機視覺競賽)
   2012年卷積神經網路的運用，贏得了ImageNet挑戰賽
   特徵加支援向量機的結構
   MSRA（殘差神經網路）
   對深度學習起了很大的推動作用（GPU，Big Data）
資料驅動的影象分類方式
第四課時：
   線性分類器
   對不同場景具有魯棒性
   分類問題的複雜性
   進鄰演算法分類器
   k鄰近，k變大影象分類變平滑，效果變好。
   歐式距離，曼哈頓距離
   分類器的泛化驗證
第五課時：
   輸入一張影象，輸出與10個類相對應的數值。
   線性分類器，就是得到最合適的W和B(W是係數，B是獨立的權重引數)
   改變每一張圖的大小，使他們變成同等大小，就可以轉化成長度相同的列向量
   最先進的方法是使用的方形圖片
   對權重矩陣W的理解，類似模式匹配
   分類器對圖片做了混合變成單個模型，所以會出現雙頭馬，不同角度的汽車重合。
   損失函式，對於一個確定的分類器W，在我們的測試中得到的結果有多壞。
   對於汽車顏色細節識別，引入了神經網路。
線性分類器損失函式與最優化
第六課時：
   多類SVN損失,SVN（向量機）
   SVN損失函式的計算公式：$L_i=\sum_{j!=y_j}max(0,s_j-s_y_j+1)$,這裡的1叫做安全係數
   $L = 1/N\sum_{i=1}^{N}L_i$
   正則化,正則化是權衡你的訓練損失和你用於測試集的泛化損失
   L2正則化考慮了X要素中的大部分東西，儘可能的展開w的權重
   SVN和softmax分類器，softmax又叫邏輯斯蒂迴歸
   softMax：$L_i=-log(\frac{e^{s_y_i}}{\sum_{j}e^{s_j}})$
第七課時：
   SoftMax會考慮每一個樣例點，SVN對離邊界點近的樣例點敏感，對離邊界點遠的樣例點不敏感
   線性分類損失視覺化：http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/
   多維度的梯度
   步長和權重的正則化引數lambda是需要關注的兩個關鍵點。
   mini-batch，取和GPU或者CPU記憶體匹配的大小的batch的資料來估測梯度。
   SGD
   while True:
     data_batch = sample_training_data(data, 256) #sample 256 examples
     weights_grad = evaluate_gradient(loss_fun,data_batch,weights)
     weights += -step_size*weights_grad #perform prameter update
   不同的學習速率導致了最終學習結果的好壞(想象成尋找大盆地的最低點)
反向傳播與神經網路初步
第八課時：
   計算圖，反向傳播演算法
   鏈式法則，將區域性梯度和最後輸出結果的梯度相乘
   前向和反向花的時間基本上是一樣的，通常反向慢一些。
   BP的拆分力度，S門
   對於最大值門，Max(x,y)，反向傳播時較小的梯度為0，較大的梯度是傳播過來的梯度
   乘法門的實現
   class MultiplyGate（object）：
     def forward(x,y):
    z = x*y;
    self.x = x #must keep these around!
    self.y = y
        return z;
     def backward(dz)
    dx = self.y * dz;#[dz/dx*dL/dx]
    dy = self.x * dz;#[dz/dy*dL/dz]
        return [dx, dy]
第九課時：
   本地梯度原本是標量現在是雅克比矩陣：表示X中每個元素對Z中每個元素的影響。
   並不需要計算雅克比矩陣，層和層之間的交流是通過向量，除非是輸出多重才用雅克比矩陣，我們最終輸出是一個數
   神經網路，汽車模型，隱藏層。

import numpy as np
# sigmoid function
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))
 
# input dataset
X = np.array([  [0,0,1],
                [0,1,1],
                [1,0,1],
                [1,1,1] ])
 
# output dataset            
y = np.array([[0,0,1,1]]).T
 
# seed random numbers to make calculation
# deterministic (just a good practice)
np.random.seed(1)
 
# initialize weights randomly with mean 0
syn0 = 2*np.random.random((3,1)) - 1
 
for iter in xrange(10000):
    # forward propagation
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))
 
    # how much did we miss?
    l1_error = y - l1
 
    # multiply how much we missed by the
    # slope of the sigmoid at the values in l1
    l1_delta = l1_error * nonlin(l1,True)
 
    # update weights
    syn0 += np.dot(l0.T,l1_delta)
print "Output After Training:"
print l1

http://python.jobbole.com/82758/
 

   
想要課件的可以把郵箱留下。不方便公開。