學習大資料需要的基礎：java SE、EE(SSM)、MySQL、Linux等，大資料的框架安裝在Linux作業系統上。 https://img2.mukewang.com/5bdf981200015a2d04760668.jpg 大資料開發工程師都需要學什麼大資料課程? 第一、需要學習Java基礎 很多人好奇學習大資料需不需要學Java，正確答案是需要。一方面Java是目前使用最為廣泛的程式語言，它具有的眾多特性，特別適合作為大資料應用的開發語言;另一方面Hadoop以及其他大資料處理技術很多都是用Java開發，例如Apache的基於Java的HBase和Accumulo以及 ElasticSearchas，因此學習Hadoop的一個首要條件，就是掌握Java語言程式設計。 第二、需要學習是Linux系統、Hadoop生態體系 大資料的整個框架是搭建在Linux系統上面的，所以要熟悉Linux開發環境。而Hadoop是一個開源的分散式計算+分散式儲存平臺，是一個大資料的基礎架構，它能搭建大型資料倉庫，PB級別資料的儲存、處理、分析、統計等業務。在這一階段，你必須要掌握Hadoop的核心元件，包括分散式檔案系統HDFS、資源排程管理系統YARN以及分散式計算框架MapReduce。 第三、需要學習是分散式計算框架Spark&Storm生態體系 隨著學習的深入，在具備一定的基礎之後，你就需要學習Spark大資料處理技術、Mlib機器學習、GraphX圖計算以及Strom技術架構基礎和原理等知識。Spark無論是在效能還是在方案的統一性方面，都有著極大的優越性，可以對大資料進行綜合處理：實時資料流處理、批處理和互動式查詢。 未來5年大資料行業呈井噴趨勢，人才需求火爆，2018年大資料人才缺口更是高達900萬。大資料又稱黑暗資料，是指人腦無法處理的海量資料聚合成的資訊資產，在民生、IT、金融、農業、通訊等方面都有廣泛應用，學習大資料開發就業前景廣闊。 很多初學者，對大資料的概念都是模糊不清的，大資料是什麼，能做什麼，學的時候，該按照什麼線路去學習，學完往哪方面發展，想深入瞭解，想學習的同學歡迎加入大資料學習扣裙：458+345782，有大量乾貨（零基礎以及進階的經典實戰）分享給大家，並且有清華大學畢業的資深大資料講師給大家免費授課，給大家分享目前國內最完整的大資料高階實戰實用學習流程體系。