機器學習領域近年來有哪些熱點
文章轉自：https://www.zhihu.com/question/26976414
問題：想要自學下機器學習並將其付之於應用，近幾年聽到的一直都是Deep Learning，可能正好符合了大資料潮流吧。
但我需要處理的問題的資料量很小，應該是個典型的小樣本問題（樣本數遠小於特徵維數）。
我想問一下，除了深度學習外，機器學習領域近年來還有什麼熱點嗎？對於典型的小樣本問題效果比較好。
回答：
除了深度學習，還有很多領域越來越受關注。
1. MCMC, Variational Inference
如果看今年的ICML，就會發現關於MCMC論文就有10篇左右，大部分都是去解決大資料下的sampling問題。 關於variational method的論文也不少，一個原因就是跟深度學習有關係，因為在深度學習模型裡，我們也會需要用這種演算法得到近似解， 比如在RBM。
2. 自然語言處理。機器學習（深度學習）在視覺領域上取得了很大的成果。相比之下，在自然語言處理問題上還是有很多難題要攻破。很多深度學習學者們預測下一個重要突破將是機器翻譯。 看一下今年被ACL收錄的論文(加上best paper)，就會感覺到這個趨勢。
3. Sparse, Robust Learning
幾年NIPS的很多論文是關於這個方面。
4. Submodularity (Discrete optimization)
這個領域也越來越火。tutorial:
5. Probablistic programming
這個算是近年來比較流行的話題。
6. Kernel methods, spectral methods.
Kernel是一直比較火的領域，spectral也感覺越來越火
7. Large scale optimization/inference， distributed learning
大資料時代嘛，沒的說。
8. Time series problem
這個算是在機器學習領域比較難的問題，深度學習在time series的問題上還需要很多的改進。處理time series的最大的問題是我們不能用bag of words的假設，而且每個樣本的長度也不一樣。
9. Causal inference
這個問題目前雖然不算是熱點，但值得去研究。目前，深度學習還沒有辦法去有效地解決這種問題。可以想象，在不久的將來，機器學習在醫療上的作用會越來越明顯。