1、先做一個survey（relativelydetailed menu）

Overviewcongnition、Searchsummary/overview

北京大學：張志華 《機器學習導論》、《統計機器學習》

綜述網址：https://www.nowpublishers.com/Journal

捷徑：閱讀別人的survey，梳理所在小方向的發展脈絡，快速定位

2、搜尋與定位 緊密結合的一系列頂級論文（20篇）Survey-menu

3、多做實驗，精通一門語言python/matlab

搜尋原始碼的能力：github/google

Check author’s homepage

重現程式碼

跑別人程式碼：資料準備工作

機器學習樣本：UCI Data Set

Logistic regression(classifier)

Naive Bayes 樸素貝葉斯

SVM

Deep forest:馮~

跑程式碼--發現問題，抓住根本

促進你深入思考

4、如何深入思考

(1)     實驗結果，詳細分析實驗結果

Evaluation measures:accuracy,error,RMSE,confusionmatrix, kappa,AUC,recall,precision,……

Imbalance:

10 samples -- class 1

90 samples -- class 2   90%

（2）資料準備工作

（3）程式碼閱讀能力

對應：equation1,equation2

Lines corresponding to equation1

Lines corresponding to equation2

吃透，看到方程，知道如何組織樣本，如何編寫對應的程式碼

5、如何發現“新的”問題：“蝗蟲式”做研究

(1)     挖井法：

A:2D tracking method  B:3D tracking method

C:propose 2.5D tracking method

1D,2D,3D

(2)    組合法

A，B     Propose A+B

(3)    Stacking

B,A->A(B)

B-pre-procession A

(4)    Ensembles

A   manyA(random)>>A

“Boosting.....”

Ensemble CNN

(5)    Batching learning(靜態學習)—> Onling learning(動態增量/線上式學習)

Optimization method(onling convex optimization)

Convex optimization based algorithms

Online convex optimization based algorithms

Onling SVM、Onling multiple kernel methods、Online gaussian process、Online...

Batching learning(靜態學習):W=algorithm(data)

Online learning: W(t)=W(t-1)+delta(...)

=algorithm(data(t),w(t-1))

(6)    張冠李戴法

Model -- (A,B)

A-C  B-D

New Model - (C,B)

New Model - (C,D)

FuzzyA ,fuzzy B

K-means -- crisp classification0,1

0.3  0.7  class 2

Fuzzy k-means、fuzzy SVM、 fuzzy RBF、fuzzy decision tree、fuzzzy aprori、fuzzy

Feature extractor(SIFT,CNN,deep replace)

SVM :support vector machine

Kernel(low dimension —> high dimension)

非線性結果->線性結果

Kernel space,linear methods

Nolinear effectives,kernel...

(7)    ensemble...ensemble...          Stacking

(8)    Bayesian化

(9)    Large scale化

Big data

Method/model,面對海量樣本

SVM,資料處理上限為10G

Parrelle/distributed computing

Distributed model、distributed SVMs、distributed CNN（tf,pytorch,coffee2,支援分散式）

6、可選擇研究方向

(1)    以資料結構為切入點，做一些工作

Hashing         HABIR 李武軍，蘭州大學，learning to Hash

(2)    提升速度

①       Large scale high dimensional

②       Dimension reduction

③       Sketching

Approximation    北京大學，張志華教授，王樹森（伯克利）

                                                                                                                                      all by Mr.Tang&zzp_wind&me