斯坦福cs231n計算機視覺訓練營----（10.8/10.9任務學習筆記）
深度學習緒論視訊筆記：
1.機器學習是在特定的場景中，期望演算法能夠像人一樣，自動給出我們想要的輸出，不需要我們編寫一些特定的規則。
2.傳統機器學習和深度學習的最大的區別是前者用人工提取的特徵來表述資料，然後運用對領域的特定知識進行手動提取；而後者用機器提取的特徵來表述資料，並且自動提取內在特徵。
3.深度學習的優點是能夠實現端到端的模型，中間減少人為的參與。
4.深度學習目前比較活躍的四大領域：計算機視覺、自然語言處理、語音識別、機器人決策。
5.應用場景舉例：
1）影象分類：任意給一張圖片，自動打一個標籤，如微信小程式 猜畫小歌。
2）目標檢測：不僅要知道圖片是什麼型別，還需要知道圖片中的每個物體所在的位置。出框，打標籤。
3）語義分割：語義是指圖片中不同的物體所代表的不同的含義。語義分割即為輸入一個圖片，輸出每一個畫素點的標籤，即為給每一個畫素點分類。
4）自然語言處理：文字分類，自動生成文字摘要，機器翻譯，問答系統，人機對話，圖片字幕（計算機視覺與自然語言處理結合）。
5）end to end自動駕駛。
6）AlphaGo:強化學習，具有決策能力。
6.機器學習演算法分為：傳統機器學習演算法（血糖值、房價預測）、深度學習（NLP、CV、無人駕駛）、強化學習（AlphaGo、End to end）等。
7.get hands dirty，just do it。
8.該訓練營分五個階段：
深度學習基礎：
第一階段：k近鄰和線性分類器 SVM和softmax分類器
第二階段：神經網路和梯度下降 卷積神經網路
第三階段：訓練神經網路1 訓練神經網路2
深度學習應用：
第四階段：深度學習在NLP中的應用 目標檢測和分割
第五階段：生成對抗網路（學術界大熱） 強化學習
總結目前工業界最需要什麼樣的人，以便對未來有一個清晰地定位：
1.從今年校招來看，機器學習等演算法崗位應屆生超多，競爭激烈，未來 3-5 年機器學習相關就業會達到飽和嗎？
現在機器學習，人工智慧相關工作的泡沫很大，等投資者不想投資了，公司看開了，不需要白花錢養這麼多AI從業者的時候，這個工作崗位就飽和了，三年的時間足夠了。
覺得三五年之後，完善的演算法崗校招制度會建立，那些只會背數學公式，背藍皮書的人一定會被淘汰，但是打心裡熱愛這份工作，保有激情，不但會寫演算法程式碼，也會寫工程程式碼的人是經得起時間打磨的。
建議求職演算法工作的同學一定不能忘記鍛鍊自己的工程程式碼。
2.2019 秋招的 AI 崗位競爭激烈嗎？
現階段的AI，尤其是Deep Learning，某種程度上是一個易上手難精通的東西。網路上有豐富的電子書、公開課、blog、code等資源可以幫助一個人入門DL，但看過一篇blog->看過原paper->跑過原code->通讀過原code->從零復現過原paper，僅僅到這裡，這個人和一開始就已經完全是兩個水平了。而大多數人還沒到這裡就已經被淘汰掉了。
一線公司需要的是能快速跟進業界新方法，並能根據產品線作出針對性改進的人。想達到這個能力，可能要閱讀>50篇paper打底，且要麼在實驗室裡紮紮實實地跑過一兩年的實驗，要麼在公司裡紮紮實實地鍛鍊半年以上。
3.論演算法工程師首先是個工程師之深度學習在排序應用踩坑總結
- 對比傳統模型，深度學習更需要大量的資料去學習，樣本資料的增加能明顯的改善模型的結果。
- 在初期，請忘記paper裡面各式各樣的奇技淫巧。一套有效的方案，其效果是多和少的問題，不是有和無的問題。好好調參，比亂試各種論文idea有效。
- 深度學習真的可以自稱調參煉丹師，所以比別人試的更快，是煉丹師的核心競爭力。
- Embedding太神奇，請把主要精力花在這裡，深度模型對id的理解可以震驚到你。
- 關心你的模型的計算效率，最終還是要上線的，繞不過去的效能問題。
- 信念的來源：這個其實是很重要的，一個專案，搞個一年半載的，中間沒有什麼明確的產出，老闆要kpi，旁邊的同事刷刷的出效果，靠什麼支援你去堅持繼續填坑，只有對理論認知的信念。
- 假設總是很美好，現實資料很殘酷，左臉打完打右臉，啪啪啪的響。怎麼一步步的接近真實，解決問題，靠的還是對理論的理解，特別是結合業務的理論理解。
工程和理論的關係就有點像，理論起到是指路者的作用，而工程是你前進道路上披荊斬棘的利刃。沒有理論就沒有方向，沒有編碼能力，就只能當個吃瓜群眾，二者缺一不可。