1. 程式人生 > >2018年?現在學習大數據晚嗎?

2018年?現在學習大數據晚嗎?

實戰 1.8 精神 失去 並行 社會 一段時間 聚焦 創新

摘要:作為一門對數學和計算機都有較高要求的一門交叉學科,從事大數據是有一定門檻的,但相對於10年以上的職業生涯(國外頂尖數據科學家50-60歲仍然十分活躍),預備半年的時間來學習這個最炙手可熱的技能還是很劃算的。
技術分享圖片

在回答這個問題之前,先看一段對話:

很多初學者,對大數據的概念都是模糊不清的,大數據是什麽,能做什麽,學的時候,該按照什麽線路去學習,學完往哪方面發展,想深入了解,想學習的同學歡迎加入大數據學習扣群:458345782,有大量幹貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大數據講師給大家免費授課,給大家分享目前國內最完整的大數據高端實戰實用學習流程體系

Q:你好老師,我想問下現在從事大數據相關的行業是不是有點晚了,

現在大數據這塊就業就是開發嗎?市場需求大嗎?

A:現在學不晚,大數據人才供不應求

Q:但是從智聯搜大數據也就是就是幾千個崗位

A:這個職位大部分行業都需要,市場、營銷、運營相關的需求很多。大數據不是職位,你要搜數據分析師、大數據工程師、算法工程師、數據建模師

Q:哦這樣啊

Q:那請問 我想搞BI,現在和大數據結合的一般是怎樣呢

要會哪些技術呢?是在北京還是上海呢?

A:BI工程師和大數據工程師的要求差不多,需要熟悉數據庫,同時掌握開發工具。相對於傳統的BI工程師,大數據工程師還需要掌握數據倉庫和NoSql

北京提供的大數據相關職位基本占到了全國的40%以上,是最多的,上海也超過了20%
技術分享圖片

(數據來源:LinkedIn:2016年中國互聯網最熱職位人才庫報告)

Q:我底子很差 做數據分析師好像沒戲哈哈

高數學的都忘記了,自己做算法開發沒戲

A:數學往後學比較重要,入門用到了再去補吧.很多算法不需要知道原理,剛開始知道怎麽用就可以了.

Q:嗯 但是這樣 面試人家一問 就露餡了 用入門的人的公司多嗎?

A:入門理解業務場景和掌握分析方法很重要,工具是其次,數學再次之。

但如果數學功底不行,會限制你到達的高度。

現在,讓我們再回到到第一個問題:現在學大數據晚嗎?這個問題我想從三個方面回答。第一個問題:

大數據是否過熱了?

很多時候我們急於回答問題,卻忽略了問題本身。Big Data這個詞翻譯過來就是大數據,在脫離了語境的情況下,這個詞可能代表“大數據技術”、“大數據集”、“大數據應用”等各種含義,所以要想回答這個問題,並不是件容易的事情。

就這個問題而言,我們可以把它分為“大數據技術是否過熱”和“大數據應用(或者大數據產業)”是否過熱?我們都知道技術和應用相輔相成,技術是基礎,應用是商業價值變現。他們有著各自的發展軌跡,彼此並不完全重合。讓我們先看一下大數據技術和大數據應用的發展階段和歷史趨勢:

概念階段

2011年,麥肯錫全球研究院發布的《大數據:下一個創新、競爭和生產力的前沿》研究報告最早提出詞匯“Big Data”。

2012年,維克托·舍恩伯格《大數據時代:生活、工作與思維的大變革》的宣傳推廣,大數據概念開始風靡全球。

技術突破階段

2003至2006年,處於圍繞非結構化數據自由探索階段。非結構化數據的爆發帶動大數據技術的快速突破,以2004年Facebook創立為標誌,社交網絡的流行直接導致大量非結構化數據的湧現,而傳統處理方法難以應對。此時的熱點關鍵詞較為分散,包括了“Systems”(系統)、“Networks”(網絡)、“Evolution”(演化)等,高被引文獻也很少,說明學術界、企業界正從多角度對數據處理系統、數據庫架構進行重新思考,且尚未形成共識。

2006至2009年,大數據技術形成並行運算與分布式系統,為大數據發展的成熟期。Jeff Dean在BigTable基礎上開發了Spanner數據庫(2009)。此階段,大數據研究的熱點關鍵詞再次趨於集中,聚焦“Performance”(性能)、“CloudComputing”(雲計算)、“MapReduce”(大規模數據集並行運算算法)、“Hadoop”(開源分布式系統基礎架構)等。

應用階段

2010年以來,隨著智能手機的應用日益廣泛,數據的碎片化、分布式、流媒體特征更加明顯,移動數據急劇增長。 近年來大數據不斷地向社會各行各業***,使得大數據的技術領域和行業邊界愈來愈模糊和變動不居,應用創新已超越技術本身更受到青睞。大數據技術可以為每一個領域帶來變革性影響,並且正在成為各行各業顛覆性創新的原動力和助推器。

2012年,美國政府在白宮網站發布《大數據研究和發展倡議》,這一倡議標誌著大數據已經成為重要的時代特征。之後美國政府宣布2億美元投資大數據領域,大數據技術從商業行為上升到國家科技戰略。聯合國在紐約發布大數據政務白皮書,總結了各國政府如何利用大數據技術更好地服務和保護人民。

2013年,英國政府宣布註資6億英鎊發展8類高新技術,其中,1.89億英鎊用來發展大數據技術。歐盟實施開放數據戰略,旨在開放歐盟公共管理部門的所有信息。

2014年5月,美國白宮發布了2014年全球“大數據”白皮書的研究報告《大數據:抓住機遇、守護價值》。全球大數據產業的日趨活躍,技術演進和應用創新的加速發展,使各國政府逐漸認識到大數據在推動經濟發展、改善公共服務,增進人民福祉,乃至保障國家安全方面的重大意義。

2014年,數據開放運動已覆蓋全球44個國家。×××通過《企業信息公示暫行條例(草案)》,要求在企業部門間建立互聯共享信息平臺,運用大數據技術等手段提升監管水平。

2015年,五中全會的“十三五”規劃中將大數據作為國家級戰略。

Gartner是一家領先的市場和技術研究公司,在Gartner 2015新興技術發展周期報告。自動駕駛汽車與物聯網處在頂峰部位,而大數據技術並未列入其中。

在2014年的報告中,我們卻可以清晰的看到大數據剛剛過了新興技術的頂峰。

許多人以此為依據,說大數據已近過時了,事實是,Gartner這張圖反應的是新興技術的發展趨勢,也就是說經過10年的發展,大數據的相關技術已近十分成熟,已近退出了新興技術的範疇。其實,早在2013年5月,麥肯錫全球研究所(McKinsey Global Institute)發布了一份名為《顛覆性技術:技術進步改變生活、商業和全球經濟》的研究報告。報告確認的未來12種新興技術,有望在2025年帶來14萬億至33萬億美元的經濟效益。令人驚訝的是,最為熱門的大數據技術也未被列入其中。麥肯錫專門解釋稱,大數據技術已成為這些可能改變世界格局的12項技術中許多技術的基石,包括移動互聯網、知識工作自動化、物聯網、雲計算、先進機器人、自動汽車、基因組學等都少不了大數據應用。

所以,大數據應用不存在所謂“過熱”和“虛火”的問題,事實恰恰相反,伴隨著大數據技術的成熟,大數據應用的普及和發展才剛剛開始,我們預計未來10年,甚至更長一段時間都是大數據黃金發展階段,相關的行業將引來巨大的發展機遇。

第二個問題是:

大數據相關職位需求多嗎?

不管是國內還是國外,大數據相關的人才都是供不應求的局面。根據麥肯錫報告,僅僅在美國市場,2018年大數據人才和高級分析專家的人才缺口將高達19萬。此外美國企業還需要150萬位能夠提出正確問題、運用大數據分析結果的大數據相關管理人才。

根據根據Linkedin《2016年中國互聯網最熱職位人才庫報告》,數據分析人才被列為Top6的熱門職位。

可以看出,這些職位都是當下任何互聯網公司要建立發展必不可少的崗位,尤其是數據分析人才,伴隨著大數據在互聯網行業更多的應用而愈加重要。

在這份報告中,數據分析人才的供給指數最低,僅為0.05,相當於20個職位同時在競爭一個求職者。這在一定程度上反映了行業現狀,很多互聯網公司 都逐漸意識到了數據的重要性,但卻缺乏相關的專業人才來分析和管理數據。

數據來源:LinkedIn:2016年中國互聯網最熱職位人才庫報告

技術分享圖片

第三個問題

入行的學習時間?

這個問題其實是沒有標準答案的,取決於你的專業基礎和要從事的職位。以數據分析師為例,先看一下國內知名互聯網數據分析師的招聘要求:

  1. 計算機、統計學、數學等相關專業本科及以上學歷;

  2. 具有深厚的統計學、數據挖掘知識,熟悉數據倉庫和數據挖掘的相關技術,能夠熟練地使用SQL;

  3. 三年以上具有海量數據挖掘、分析相關項目實施的工作經驗,參與過較完整的數據采集、整理、分析和建模工作;

  4. 對商業和業務邏輯敏感,熟悉傳統行業數據挖掘背景、了解市場特點及用戶需求,有互聯網相關行業背景,有網站用戶行為研究和文本挖掘經驗尤佳;

  5. 具備良好的邏輯分析能力、組織溝通能力和團隊精神;

  6. 富有創新精神,充滿激情,樂於接受挑戰

前三個屬於硬件要求,一般而言,有專業基礎(計算機、統計學、數學等相關專業)入行需要3個月以上的學習,而要成為一個熟手(企業用工需求最多)則需要2-3年以上的項目經驗和行業經驗。對於非專業背景的同學,入行的時間可能需要的更長,建議給自己預留6-12月的時間。

Anyway,作為一門對數學和計算機都有較高要求的一門交叉學科,從事大數據是有一定門檻的,但相對於10年以上的職業生涯(國外頂尖數據科學家50-60歲仍然十分活躍),預備半年的時間來學習這個最炙手可熱的技能還是很劃算的。

在職業規劃這個問題上有位哲學家說過,最重要的人際關系就是自己和自己的關系,知道自己要什麽,不要什麽。在轉行的問題上也是一樣。 有人會說,轉行是讓自己之前幾年的經驗積累全都作廢了,其實社會經驗和人生理念是不管改到哪一行都能發揮效用的。而之前的人際關系也是屬於“山不轉水轉”的問題,你很難說哪一類人際關系是有用的,哪一類是沒有用——基於這個道理,應該統統視作為有用的。 不怕失去,才可能會有更多收獲。只要有明確的發展規劃,當然應該義無反顧地去投入新的開始。人生的機會並不多,即使你已經到了30歲,對大多數人來說,只是職業生涯的前半部分,完全不必縮頭縮腦患得患失。

很多初學者,對大數據的概念都是模糊不清的,大數據是什麽,能做什麽,學的時候,該按照什麽線路去學習,學完往哪方面發展,想深入了解,想學習的同學歡迎加入大數據學習扣群:458345782,有大量幹貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大數據講師給大家免費授課,給大家分享目前國內最完整的大數據高端實戰實用學習流程體系

2018年?現在學習大數據晚嗎?