什麼是大資料？

其實大資料並不是一種概念，而是一種方法論。簡單來說，就是通過分析和挖掘全量的非抽樣的資料輔助決策。大資料可以實現的應用可以概括為兩個方向，一個是精準化定製，第二個是預測。比如像通過搜尋引擎搜尋同樣的內容，每個人的結果卻是大不相同的。再比如精準營銷、百度的推廣、淘寶的喜歡推薦，或者你到了一個地方，自動給你推薦周邊的消費設施等等。

目前市場對大資料相關人才的需求與日俱增，崗位的增多，也導致了大資料相關人才出現了供不應求的狀況，從而引發了一波大資料學習的浪潮。

大資料是未來的發展方向，正在挑戰我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，並不斷的成長!大資料學習群：957205962

 一起討論進步學習

大資料解決什麼問題？

大資料解決對海量資料的儲存、查詢、分析計算等操作，主要應用在利用龐大的資料歸類分析使用者的偏好，利用使用者的歷史資訊得出相應的統計賬單等，將同行業的大公司的資料進行計算分析，可以挖掘出一些隱含價值。

學習大資料的基礎

1）java SE，EE(SSM)

因為90%的大資料框架都是java寫的

2）SQL

特別是sql語句中的查詢語句，因為對資料庫的操作最多的是查詢

使用Hadoop作為大資料的分散式儲存、計算和分析 sql的操作會重要

3）Linux

大資料的框架安裝在Linux作業系統上

總的來說，大資料處理技術怎麼學習呢?在做大資料開發之前，因為Hadoop是高層次的語言開發，需要懂得Java或者Python，很快的就能上手。所有的大資料生態架構都是基於linux系統的基礎上的，所以你要有Linux系統的基本知識。如果你不懂Java或者Python還有Linux系統，那麼這都是你必學的知識（Java或者Python可二選其一）。

大資料技術的學習順序？

大資料處理技術怎麼學習呢?首先我們要學習Java語言和Linux作業系統，這兩個是學習大資料的基礎，學習的順序不分前後。

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，學習大資料要學習那個方向呢?

只需要學習Java的標準版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技術在大資料技術裡用到的並不多，只需要瞭解就可以了，當然Java怎麼連線資料庫還是要知道的，像JDBC一定要掌握一下，有同學說Hibernate或Mybites也能連線資料庫啊，為什麼不學習一下，我這裡不是說學這些不好，而是說學這些可能會用你很多時間，到最後工作中也不常用，我還沒看到誰做大資料處理用到這兩個東西的，當然你的精力很充足的話，可以學學Hibernate或Mybites的原理，不要只學API，這樣可以增加你對Java操作資料庫的理解，因為這兩個技術的核心就是Java的反射加上JDBC的各種使用。

Linux：因為大資料相關軟體都是在Linux上執行的，所以Linux要學習的紮實一些，學好Linux對你快速掌握大資料相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大資料軟體的執行環境和網路環境配置，能少踩很多坑，學會shell就能看懂指令碼這樣能更容易理解和配置大資料叢集。還能讓你對以後新出的大資料技術學習起來更快。

好說完基礎了，再說說還需要學習哪些大資料技術，可以按我寫的順序學下去。

Hadoop：幾乎已經成為大資料的代名詞，所以這個是必學的。 Hadoop裡面包括幾個重要元件HDFS、MapReduce和YARN。

Hadoop的核心就是HDFS和MapReduce，而兩者只是理論基礎，不是具體可使用的高階應用，通俗說MapReduce是一套從海量源資料提取分析元素最後返回結果集的程式設計模型，將檔案分散式儲存到硬碟是第一步，而從海量資料中提取分析我們需要的內容就是MapReduce做的事了。當然怎麼分塊分析，怎麼做Reduce操作非常複雜，Hadoop已經提供了資料分析的實現，我們只需要編寫簡單的需求命令即可達成我們想要的資料。

記住學到這裡可以作為你學大資料的一個節點。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的資訊，這些資訊比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：大資料的處理學完了，那麼接下來要學習小資料的處理工具Mysql資料庫，因為裝hive的時候要用到，Mysql需要掌握到什麼層度呢?你能在Linux上把它安裝好，執行起來，會配置簡單的許可權，修改root的密碼，建立資料庫就可以了。這裡主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql裡的資料匯入到Hadoop裡的。當然你也可以不用這個，直接把Mysql資料表匯出成檔案再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大資料變的很簡單，不會再費勁的編寫MapReduce程式。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapReduce、Spark指令碼，還能檢查你的程式是否執行正確，出錯了給你發報警並能幫你重試程式，最重要的是還能幫你配置任務的依賴關係。我相信你一定會喜歡上它的，不然你看著那一大堆指令碼，和密密麻麻的crond是不是有種“即將崩潰”的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的資料是按照key和value的形式儲存的並且key是唯一的，所以它能用來做資料的排重，它與MYSQL相比能儲存的資料量大很多。所以他常被用於大資料處理完成之後的儲存目的地。

Kafka：這是個比較好用的佇列工具，佇列是幹什麼的?排隊買票你知道不?資料多了同樣也需要排隊處理，我們可以利用這個工具來做線上實時資料的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對資料進行簡單處理，並寫到各種資料接受方的。

Spark：它是用來彌補基於MapReduce處理資料速度上的缺點，它的特點是把資料裝載到記憶體中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

總結：

當然除了上述的這些必備技能，後續還有很多地方是需要提高的，比如學習下Python，可以用它來編寫網路爬蟲，就可以自己造資料了。

最快的學習方法，就是師從行業專家，學習老師多年積累的經驗，自己少走彎路達到事半功倍的效果。自古以來，名師出高徒。
大資料是未來的發展方向，正在挑戰我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，並不斷的成長!大資料學習群：957205962 一起討論進步學習