大資料是近五年興起的行業，發展迅速，很多技術經過這些年的迭代也變得比較成熟了，同時新的東西也不斷湧現，想要保持自己競爭力的唯一辦法就是不斷學習。

大資料需要學習什麼?很多人問過我這個問題。總是沒有一個合適的契機去好好總結這些內容，直到開始寫這篇東西。大資料是近五年興起的行業，發展迅速，很多技術經過這些年的迭代也變得比較成熟了，同時新的東西也不斷湧現，想要保持自己競爭力的唯一辦法就是不斷學習。大資料學習QQ群119599574

大資料需要的語言 Java

java可以說是大資料最基礎的程式語言，據我這些年的經驗，我接觸的很大一部分的大資料開發都是從Jave Web開發轉崗過來的(當然也不是絕對我甚至見過產品轉崗大資料開發的，逆了個天)。

一是因為大資料的本質無非就是海量資料的計算，查詢與儲存，後臺開發很容易接觸到大資料量存取的應用場景 二就是java語言本事了，天然的優勢，因為大資料的元件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學習，填上生產環境中踩到的各種坑，必須得先學會java然後去啃原始碼。

說到啃原始碼順便說一句，開始的時候肯定是會很難，需要對元件本身和開發語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習慣了看原始碼解決問題的時候你會發現原始碼真香。

Python和Shell

shell應該不用過多的介紹非常的常用，屬於程式猿必備的通用技能。python更多的是用在資料探勘領域以及寫一些複雜的且shell難以實現的日常指令碼。

分散式計算

什麼是分散式計算?分散式計算研究的是如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然後把這些部分分配給許多伺服器進行處理，最後把這些計算結果綜合起來得到最終的結果。

舉個栗子，就像是組長把一個大專案拆分，讓組員每個人開發一部分，最後將所有人程式碼merge，大專案完成。聽起來好像很簡單，但是真正參與過大專案開發的人一定知道中間涉及的內容可不少。

比如這個大專案如何拆分?任務如何分配?每個人手頭已有工作怎麼辦?每個人能力不一樣怎麼辦?每個人開發進度不一樣怎麼辦?開發過程中組員生病要請長假他手頭的工作怎麼辦?指揮督促大家幹活的組長請假了怎麼辦?最後程式碼合併過程出現問題怎麼辦?專案延期怎麼辦?專案最後黃了怎麼辦?

仔細想想上面的奪命十連問，其實每一條都是對應了分散式計算可能會出現的問題，具體怎麼對應大家思考吧我就不多說了，其實已經是非常明顯了。也許有人覺得這些問題其實在多人開發的時候都不重要不需要特別去考慮怎麼辦，但是在分散式計算系統中不一樣，每一個都是非常嚴重並且非常基礎的問題，需要有很好的解決方案。

最後提一下，分散式計算目前流行的工具有：

離線工具Spark，MapReduce等 實時工具Spark Streaming，Storm，Flink等

分散式儲存

傳統的網路儲存系統採用的是集中的儲存伺服器存放所有資料，單臺儲存伺服器的io能力是有限的，這成為了系統性能的瓶頸，同時伺服器的可靠性和安全性也不能滿足需求，尤其是大規模的儲存應用。

分散式儲存系統，是將資料分散儲存在多臺獨立的裝置上。採用的是可擴充套件的系統結構，利用多臺儲存伺服器分擔儲存負荷，利用位置伺服器定位儲存資訊，它不但提高了系統的可靠性、可用性和存取效率，還易於擴充套件。

上圖是hdfs的儲存架構圖，hdfs作為分散式檔案系統，兼備了可靠性和擴充套件性，資料儲存3份在不同機器上(兩份存在同一機架，一份存在其他機架)保證資料不丟失。由NameNode統一管理元資料，可以任意擴充套件叢集。

主流的分散式資料庫有很多hbase，mongoDB，GreenPlum，redis等等等等，沒有孰好孰壞之分，只有合不合適，每個資料庫的應用場景都不同，其實直接比較是沒有意義的。

最後：

大家都知道大資料的技術日新月異，作為一個程式猿想要保持競爭力就必須得不斷地學習。大資料學習QQ群119599574