最近,身邊幾個程式設計師朋友都在自學Spark、Hadoop等相關知識,彷彿不緊跟時代步伐,就會被隨時甩出半條街的節奏;而開啟知乎,諸如“怎樣進行大資料的入門學習”“Java Web 程式設計師如何轉型大資料”之類的話題也屢受關注。

大資料之愛絕非偶然

1、技術日漸成熟,應用空間得以拓展

大資料技術,最早於1980年被首次提及,卻在近幾年才獲得突飛猛進的發展。相較於幾十年前神經網路演算法捉襟見肘的計算能力,如今處理器對大規模資料的高速處理能力無疑發揮了關鍵性的作用。藉助於處理器的高效能,使我們短時間內完成PB 級資料的機器學習和模型訓練成為可能,由此為高度依賴深度學習的影象、語音識別產品的快速迭代奠定基礎,大資料應用空間得以拓展,也由此催生了提供相關產品與服務的技術公司。

2、重視資料資產,資料探勘已成必然

現代資訊科技使每日產生的資料量呈指數級增長,企業發展再也無法迴避對資料價值的挖掘與利用。電商平臺利用畫像做個性化推薦,網際網路金融公司利用高危識別技術管控金融風險,滴滴出行利用交易資料通過實時定價優化利潤……這些都是對大資料價值的發掘和利用。隨著資料資產意識的加強,資料探勘也將獲得越來越多結合具體行業場景的重視。

3、技術催生業務新模式,蘊含創業新契機

大資料產業鏈,催生出針對不同版塊提供產品和服務的業務組合新模式,無論是利用推薦演算法做內容服務的今日頭條,還是基於資料整合提供監測服務的 TalkingData,或者是提供底層架構支援的阿里雲,無不是發覺了大資料產業鏈條所蘊含的創業先機。

大資料創業,時至今日熱度不減,雖難出BAT那樣巨頭獨大的局面,其提供的相對公平的競爭機會,依然在吸引著新的創業公司加入。

4、市場供不應求,崗位挑戰空間大

翻看大資料相關招聘崗位,一方面是供不應求的招聘局面,另一方面是騰訊、華為等大牌網際網路公司開出的誘惑薪資,都讓普通崗位的程式設計師躍躍欲試。

再加上這些崗位相比於傳統的軟體工程,有更高的挑戰空間和更大的難度,自然引得更多人才進入到這個領域。

大資料相關崗位有哪些?

1. 偏技術的“演算法工程師”

利用演算法手段,構建機器學習模型,解決諸如“人臉識別”、“支付風險管控”等高難度問題。它往往既需要工程師在具體問題上有足夠的專注力,也需要對相關的演算法有足夠深度的瞭解。

2. 偏業務的“資料探勘工程師”

結合計算機知識,重點攻克複雜業務的演算法化和模型化難題。與演算法工程師的要求不同,它往往不需要工程師在演算法上探索得足夠深入,卻對知識的廣度和技能的交叉度有較高的要求,還需要工程師具備相當和快速的業務理解能力。當然了,對資料的高敏感性也必不可少。

技術 Leader 最想要什麼樣的人?

1、最好,你是個獨當一面的全才

基礎條件:紮實的計算機基礎、邏輯能力、英文等素質

保障條件:聰明、學習能力強

加分條件:大規模叢集開發經驗;上層資料應用優化經歷;熟悉聚類、分類、推薦、

NLP、神經網路等常見演算法;會資料處理,還熟悉聚類、分類、推薦、NLP、神經網路等各種常見演算法……

2、退而求其次,有配合團隊的長板優勢

全才難得,退而求其次,針對不同崗位吸收具有不同特長的人才,以追求團隊整體配合的平衡,也不失為一個策略。

計算機視覺領域的大資料公司,往往需要自己的團隊中同時具備如下特長的成員。比如精通演算法的人才:把影象識別相關演算法模型調整到極致;工程實力型人才:高效能實現訓練好的演算法模型,或者幫團隊搭建一整套視訊影象資料採集、標註、機器學習、自動化測試、產品實現的平臺。

即便同一演算法工程團隊內部,成員的技能側重點也要合理搭配,以互為補充。比如,有人專注核心演算法研究,就要有人擅長業務分析,專注業務演算法模型的實現。

因此,對於想轉型大資料的普通程式猿來說,梳理清楚自己現有技能對於新團隊的價值非常重要,這是促使新團隊決定吸收自己的關鍵。比如,發揮硬體和底層系統工作經歷在演算法高速實現上的優勢,一旦通過自身擅長的技能切入新團隊之後,就有了更多橫向發展的機會,幫助自己在大資料相關領域建立更強競爭力。

3、相較當前技能水平,紮實的基礎和成長空間更被看重

當前技能水平好比是術,而紮實的計算機基礎則處於道的層面,諸如Spark等工具性知識通過後期學習便能輕易掌握,而如果缺少了C++/Java基礎想進步卻絕非易事。比如,如果演算法、資料結構比較強,程式語言上對 C++ 理解較深入,在應用層的學習上,就可能會比其他人快很多。

有人將程式猿能力抽象為一個金字塔模型,雖然對計算機語言的精通是每個工程師都注重的能力,但越基礎的素養越蘊含了更多的發展潛力。相比單純苛責當前技能,能利用基礎素養勝任一部分基礎工作,然後通過1-2年鍛鍊接受更復雜問題的程式猿,反而更受企業青睞。

TalkingData 大資料招聘負責人曾直言道,相比於對 Spark 瞭解更多的人,他們更願意招收那些 Java 學得好的人。因為 Spark 的介面學習起來相對容易,但是要想精通 Java 是一件很難的事情。如果把 Java 或者 C++ 學透了,那麼對計算機技術的認識將很不一樣。

轉型大資料,要點歸納

1、重視基礎

2、發揮專長

3、準備充分

4、首選公司內部轉崗

.