1. 程式人生 > >轉載--我的AI轉型之路與AI之我見(非985211的奮鬥路程與視角)

轉載--我的AI轉型之路與AI之我見(非985211的奮鬥路程與視角)

前言

這裡寫圖片描述

我是一名傳統網頁(PHP+ruby)和應用開發(Android)轉型AI相關開發的碼農。在非985211高校出身的情況下,我前期自己買書學習,到現在考研上課全身心的投入智慧系統的開發當中來,在演算法當中理解了資料和模型,對一些基本問題的解決和現在社會上的環境風氣有自己的看法,在這裡不吐不快,和大家分享一下。

對於人工智慧的入門和基礎理解我有一篇綜述的部落格文章,手把手的入門機器學習的”Hello World“,有5個基礎開發例項,方便理解整個開發的過程。

  1. 資料分析入門:Weka的使用(只要四步,不會編碼也可以做機器學習與資料分析)
  2. 機器學習的“Hello World” MNIST手寫字型識別(用SVM支援向量機演算法)
  3. Iris花資料集分析
  4. 支援向量機(SVM)人臉識別
  5. 多層感知機識別MNIST手寫字型識

詳細內容,有興趣的同學請點選下面的連結。

也抽空做了2個小專案與大家分享。

我的吐槽

這裡寫圖片描述

人人都是機器學習工程師

現在人工智慧無論是在校園裡還是在工作當中,無論是在國內還是國外,都是十分火熱的話題。現在在高校校園裡,計算機專業,電子工程專業,自動化專業,機械專業,土木工程專業等等工科,理科,甚至新聞與傳播專業等,只要手裡有資料的專業,基本都有人工智慧,機器學習等相關的話題。

不但在中國,美國,就連在日本,我在參觀高壓電專業實驗室的同學都在用SVM預測地區高壓電用電量估計,用蟻群演算法來為高壓電傳輸塔的建立做最合理的規劃。自動化同學實驗室再用決策樹做影象識別,做

機器人智慧抓取。生物醫學實驗室的同學在用聚類分析DNA的基因序列。電子實驗室的同學用迴歸分析電路板的檢修,和用深度神經網路開發智慧汽車。而且這不是在最好的帝國大學,這只是在世界排名800的普通工科院校。在入學的時候,校長在發表講話,我比較激動,因為校長通篇的演講都是在說“現在は人工知能の時代になりました。皆さんは人工知能の知識を勉強しでください。”就是“現在是人工智慧的時代,請大家學習一下人工智慧的知識。”就連普通上課最後同學們查詢資料,發表這個課程相關論文的學習內容時,很多同學都是結合這門課和機器學習的分析方法,解決原來計算條件有限下難以解決的問題。

十幾年前,機器學習還只是世界頂尖大學的玩物,現在所有的高校裡都有相關的學習與研究,應用在各行各業當中。從原來的博士專業中獨享,到現在的普及到碩士專業,以後大批本科生畢業也可以從事人工智慧,資料分析相關的開發。現在大批的研究生開始學習機器學習演算法, 研究在各種場景環境下的帶入應用,不再去做網頁,寫EPR系統,開發APP,而是轉向資料分析,影象識別,

自然語言處理,神經網路等等。

在京東圖書當中,周志華的《機器學習》評論數為8700+,而php賣的最多的《PHP從入門到精通》只有評價數6100+,郭霖的《第一行程式碼android》的評論數為1.4萬+。由此可見不遠的將來大家可能會從原來的PHP是最好的語言,即將變為SVM是最好的演算法。

各種收費學習平臺收割大學生的智商稅

近幾年知識收費成了各大網站的又一突破點,有良好師資的網站不斷推出新的,符合市場定位的技術視訊,並收取學員一些學費。可是現在有很多平臺把市面上的書籍網路上的程式碼一抄,模模糊糊的講解一下就敢收費400,500,甚至上千元的收費,這和11年安卓的培訓市場上是如出一轍。這年頭各種牛鬼蛇神,牛頭馬面都敢出來當老師,開班授課,市場一片混亂,不少剛出社會或者剛進大學的同學都被這個人收了智商稅,希望大家應以為戒。現在世面上這麼多的書籍與各種好的原創視訊,知識點解讀,論文分享的好公眾號,希望大家不要再上當了,在掏錢的時候好好觀察,這個是交了智商稅還是真交了學費。

學會資訊檢索 + 合理利用資源

現在國內的視訊網站上並沒有多少好的人工智慧教學的相關視訊,但是油管上有成千上萬的好的視訊,從知識點的講解,論文的解讀,具體應用的手把手的程式碼教學,嗾使十分豐富的。具體的推薦請看下面書籍,公眾號,視訊的推薦。

很多同學找不到學習資料和視訊資源。其實,資訊檢索也是一門學科,我在大學期間選修過這門課,後來我想這就是資料分析的第一步,資料收集。在這裡我推薦大家加入我的群,群裡都是一群新手,也包括我,都是想依靠技術讓自己生活變的更好的一群人,群裡不定期更新PDF書籍資源,現在已經有2.71GB,234本書了,可以讓大家節約時間,少走一些彎路。QQ群號:657119450。

為什麼要學習AI

AI開發與傳統軟體工程,網際網路應用開發相比較區別有哪些

傳統軟體工程,網際網路應用開發主要是依靠開發語言和開發工具,重點學習一些演算法和資料結構,庫,框架。AI開發則有自己相關的庫和框架,更多是學習機器學習的相關演算法與對演算法的優化,重點是把演算法和模型應用到實際的問題當中,從不同的環境場景下提取資料,處理資料,分析資料的能力。

AI開發與傳統軟體工程,網際網路應用開發相融合

網際網路網站開發的都在做精準推薦,電子相關的都在做影象識別和處理,讓計算機能具有”看“的能力,APP開發的在用機器學習來開發智慧應用,語音輸入法等。現在智慧系統是解放生產力又一大有效的方案,現在不斷有更多更好更新奇的應用被開發出來,提高了工作效率,降低了生產成本。

所以,作為傳統開發和AI開發其實真正的區別並不大,無論是現在還是未來,好的傳統開發是必須要會AI相關演算法與技術應用到自己的專案當中,而好的AI開發是要會傳統開發的技術,來實現自己的演算法模型,解決實際問題的,所以兩者是相輔相成的關係,互相離不開的。

未來AI的發展機遇

AI的開發工作機會分析

這裡寫圖片描述

我從五月份開始關注拉鉤網,春季剛開始的時候還沒有機器學習,深度學習,自然語言處理,影象處理,資料探勘,精準推薦的分類,現在在工作崗位分類中,都有人工智慧這一大類了。可見現在人工智慧相關的工作十分火熱並工程師緊缺。

7月14日,人民日報報道了《中國人工智慧人才缺口超500萬,供求比例僅為1:10》一文,文章中說到。

一位資料探勘高階工程師,在關閉招聘網站自己簡歷的情況下,每個月仍會收到4到5個獵頭的電話,遊說他去其它公司。現在以人工智慧演算法開發工程師為例,該職位少則月薪1萬、2萬,多則年薪百萬。不像其它行業佔據職業高薪榜的是高階管理人才,在人工智慧領域中,技術類工程師拿的是最高薪。李開復說過“在矽谷,做深度學習的人工智慧博士生,現在一畢業就能拿到年薪200萬到300萬美元的錄用通知,三大公司(谷歌、臉書和微軟)都在用不合理的價錢挖人”。最近領英發布的《全球AI領域人才報告》顯示,到2017年一季度為止,領英平臺上的全球AI(人工智慧)領域技術人才數量超過190萬,其中美國相關人才總數超過85萬,高居榜首,而中國的相關人才總數也超過5萬人,位居全球第七。

目前國家要產業轉型改革,同時也強調產業升級的重要性,網際網路行業中最稀缺的就是人工智慧人才。現在國內的供求比例僅為1:10,供需嚴重失衡。工信部教育考試中心也曾在2016年向媒體透露,中國人工智慧人才缺口超過500萬人。目前國內外企業均把人工智慧看成下一個變革的主要力量。AI技術人才,則是主導這一變革的中流砥柱。人工智慧的競爭說到底是對人才的競爭,因此出現了各大網際網路企業高薪挖人的現象。《全球AI領域人才報告》顯示,美國已成中國AI人才最大回流來源,中國擁有海外工作經歷的AI技術人才有43.9%來自美國。華人人才的持續迴流,將加快縮短中國與美國等國家的技術差距。

由以上可知,現在加入到AI的開發中開正是大好時機。

現在AI開發工作的市場需求

現在市場上人工智慧開發多是在研究生博士生居多,本科生並不是很受歡迎,本科生在本科階段絕大部分是沒有研究的,專業課的學習為主,自己喜歡的開發相關學習為輔,的確時間上並不是十分充裕,所以研究生和博士生現在受到市場的歡迎。基本上都是統計學、應用數學、計算機等相關專業,碩士及以上學歷,具有優秀的資料結構和演算法設計能力,能將演算法實現為程式碼,至少熟悉一種大資料處理的程式語言(R、PythonJavaGo、Perl、Ruby、SPSS等),熟悉大規模資訊處理與分散式計算等相關技術,較強的資料敏感度,邏輯分析能力和文件寫作能力,

資料探勘,搜尋演算法,精準推薦,深度學習,機器學習,影象處理,影象識別,語音識別,機器視覺,演算法工程師,自然語言處理等方向現在十分火熱。多數企業招不到合適的人員。

AI開發工作應該擁有哪些技術

  1. 開發語言多數以R、Python、JAVA為主。
  2. 將演算法轉換為程式碼的能力,即編碼能力,這方面想提高除了多看多寫,別無他法。
  3. 熟悉opencv,sklearn,tensorflow,caffe,Spark,keras,pyTouch等開發庫,沒必要全會,但是要有熟練的一個或幾個。
  4. 大規模資訊處理與分散式計算,開發環境搭建與優化,演算法的調參與優化。
  5. 文件書寫,團隊人員的交流能力。
  6. 分析問題,分析資料,帶入演算法和模型到實際場景應用的能力。

這裡寫圖片描述

我與AI的初次相遇

12年第一次接觸機器學習

12年我第一次接觸機器學習,當時進了實驗室大家還不說機器學習,都是說資料探勘,做了一個垃圾郵件處理的問題,當時並沒有完成。之後就一直沒有做這方面工作,一直做的是網站開發和APP開發。那時候是以java開發為主,學習python當中。由於沒有什麼書籍,網上部落格也不全,程式碼也是殘缺錯誤,所以那時候學習資料探勘進度緩慢,沒有什麼成就感,沒有網站開發和APP開發帶來的成就感大,所以也就主要是做開發寫程式碼為主。

16年斷斷續續的學習

由於在日本考學校要考試,還要寫研究計劃書,所以重新開始機器學習演算法的學習,沒有做什麼實際的應用,只是單純的推導公式,學習演算法。做了一個根據網頁資訊對網頁進行分類的應用,寫成了研究計劃書。多是看視訊,看部落格為主,書籍也是《機器學習實戰》一本翻了很多次。

17年開始全身心的投入學習

修士(對應國內研究生)入學之後,開始全面系統的學習。沒有什麼特別的經過,就是不斷看書,寫程式碼實現,看論文,寫部落格記錄。日本學生人人都寫研究記錄,我也開始寫部落格記錄我的學習經過。每週都有和老師研究進度報告,和實驗室研究會議,當前的研究進度的說明,發現了什麼問題,怎麼解決的。還有用《Python Machine Learning》,每人每週講解一章,實驗室人不多,算上我和兩個前輩就3人,但是這個人工智慧實驗室在上世紀80年代就有了,算是歷史不短吧。

現在國內市場上的人工智慧相關書籍也開始慢慢多了起來,但是還是有老問題,有的書籍互相重複內容太多,有的書籍單純是官網簡介和demo程式碼的翻譯,多數質量並不是很高,導致我現在看中文書預習,看日語書學習,看英語書複習,日本關於機器學習相關的書寫的相當詳細,理解起來也簡單,中文書多數是翻譯英文版的書籍,而我英語不是十分的好,看英語書向來要花點時間。

我學習AI的方法

看書,程式碼,分享的迴圈

學習的過程就是枯燥的,不停的看書,寫程式碼實現,沒別的方法了。找資料,找專案,找問題決解,鍛鍊自己解決實際場景問題的能力。然後最好寫成部落格分享給大家,對自己未來找工作,還是交接志同道合的朋友都有好處。

有的同學一上來就看程式碼,演算法的原理和數學公式的體現不會是看不懂程式碼的,所以要先看書,從書上的例子一點點做起,還有部分同學基礎的開發和資料結構不是很擅長,也要先補習一下這方面的內容才可以,總之基礎的確很重要,萬丈高樓沒有地基的確是不行的。

書籍推薦

《機器學習實戰》

《自然語言處理原理與實現》

《機器學習》

《統計學習方法》

《支援向量機導論》

《統計自然語言處理(宗成慶)》

《深度學習》

《模式識別-第二版(西奧多裡蒂斯 著,李晶皎譯)》

《駕馭文字 文字的發現、組織和處理_》

《Python Machine Learning》

《Advanced Machine Learning with Python 》

《MATLAB智慧演算法30個案例分析》

《人工智慧 一種現代的方法(第3版)》

《統計學習基礎 資料探勘、推理與預測》

《凸優化》

等等經典書籍,啊,你要問這個書籍哪有下載,請加群免費下載2.71GB,234本PDF書籍,群號:657119450。

公眾號推薦

大資料文摘 : 每日大資料新聞推送。

機器之心 : 每日機器學習新聞推送。

PaperWeekly : 每日推薦論文推送並解讀。

量子位 : 人工智慧新聞每晚推送。

微博推薦

愛可可-愛生活 每日多次不停的推薦論文,庫,等等人工智慧相關資訊。(唯一重磅推薦)

視訊推薦

這裡寫圖片描述

論文網站推薦

我寫AI部落格的想法

我的現在水平只能寫寫部落格,把自己學習到的東西免費和大家分享一下,肯定有我理解錯誤或者不完全的地方,和大家交流,解決問題是我的初衷,結實更多相關從業人員也是好處,我把一年的課都選在半年內上完,在我還有一年半校園生涯的時間裡我會堅持更新部落格,提高寫作表達能力,但是畢業之後估計就沒那麼多時間了吧,謝謝大家對我的支援與鼓勵,大家共同進步吧。

未來中國需要大量的掌握人工智慧技術的工程師,在各行各業中穿插交流更具具體場景開發,很多同學英語不好,編碼能力不好,開發經驗不足,我希望通過我的一點綿薄之力幫助更多的同學入門人工智慧技術,如果大家都這樣想就好了。

感想

現在就想多看書,多看論文,然後自己實踐解決一些實際的問題。已經制定了詳細的計劃,希望可以堅持下去。