0x00 前言

總結一下自己對大資料演算法認知的過程。正文包含兩部分：對演算法的認知過程和最終筆者對大資料演算法的理解。

寫這篇部落格的原因有很多，總的來講有下面幾點：

1. 自己在演算法的路上一直懵懵懂懂，現在剛剛有了一點點頭緒，趕快做個記錄。
2. 梳理清楚自己的思路，後續會有一個演算法學習的一到兩年的計劃，這算是個引子。
3. 談起演算法大家都只會想到經典演算法和機器演算法，除此之外還有很多有意思的演算法，特別是為了解決大資料量問題的演算法，這些很容易被忽略掉，但是我認為這才算是大資料演算法。

0x01 認知過程

1. 演算法沒什麼用

剛入坑的時候，一直以為大資料工程師就是安裝一下Hadoop，寫寫MR程式，運維一下叢集就夠了，雖說演算法很重要，但是工作中沒有什麼感覺。

我在很長一段時間也抱著一種演算法只是起到在面試中起到區分度作用的知識點而已。（現在想來，其實這個觀點也沒什麼錯，大部分的開發工作的確用不到什麼演算法。）

2. 經典演算法的魅力

做了一段時間大資料運維後，接到了一個優化排程系統的任務，就和gim老司機在一起設計重構排程系統的方案，在這個過程中複習了很多圖論相關的知識點，從此開始對演算法產生了極大的興趣並一發不可收拾，隨後重新學習了一遍樹相關的內容，自己動手實現了什麼2-3樹、avl樹、紅黑樹這些資料結構。

其實，感興趣的一個主要原因就是發現，這些東西基本構建了我們整個的計算機體系。比如檔案系統、資料庫的索引，學會這些總感覺以後就不會丟飯碗了。

3. 機器學習代表了一切

再接著，機器學習一下子就火了起來，世界上只剩下了兩種演算法：機器學習演算法和非機器學習演算法。身邊的朋友和同學，凡是和資料開發相關的，都稱自己想轉做機器學習。筆者也不能免俗，開始準備跟著浪潮走一波。但是一沒場景，二是興趣不大，當有一天我突然意識到自己在學機器學習累的時候居然想玩玩linux放鬆心情的時候，就暫時放棄了轉向機器學習的這個想法。以後我會用到它，可能還會用的很深，但是現在不會全身心地轉向它。

機器學習過後，17年又迎來了深度學習的浪潮。

4. 深度學習又是一波浪潮

感觸最深的是在17年5月份，看到了一份招聘要求，招的title是人工智慧平臺架構師，具體的要求是除了資料平臺要求的東西外加了一些深度學習平臺的東西。

這時候就感到，當浪潮到來的時候，你可以不轉向它，但是要包容它。所以，順便學了一波深度的東西，入了個門，大概知道我以後需要做些什麼。（三個月後的今天基本已經忘完了）

5. 還有很多有趣的演算法

隨著工作的深入，系統在效能上遇到了很多了瓶頸，我們要做一系列的調整來應對，比如敏感資訊的加密、叢集檔案的壓縮、負載均衡策略的選擇，這時候就不得不深入學習一下加密演算法、壓縮演算法、負載均衡演算法的原理。

這些演算法一直都在，但是仍然可以在現在的大資料場景下發揮極大的作用。

6. 分散式演算法

在這之前，我對自己從事的工作一直有一點心虛，感覺除了寫寫mr，管一下叢集貌似沒什麼技術含量太深的東西，能拿得出手的也就是各個系統的架構和對他們的熟悉程度。 後來無意間在mooc發現了一門雲端計算原理的課，然後就對這一塊產生了極大的興趣。

隨著學習的深入，發現這塊的水還是相當深的，我們稱這些為分散式演算法，它包含了這麼一大堆內容：

2PC、Gossip這一大堆協議；DHT、Paxo、Raft這一大堆演算法、還有一些亂七八糟的原理。

這塊學的還是很皮毛，後面會有詳細的學習計劃。

7. 大資料演算法到底是什麼？

在工作和學習中遇到了這麼多演算法，再加上一段時間的思考，我會在想，大資料的演算法到底是什麼樣子的？

經典演算法暫且不論，壓縮和加密演算法也一直都有。

那麼機器學習呢？總感覺有些地方不對勁，應該說是機器學習是使用了大資料，但是他不是為了解決大資料的各種問題的，真正的大資料問題還要有大資料的演算法來解決。

分散式演算法也不完全算是，雖說大資料工程師都要用到分散式系統，但是他們解決的問題場景不太一樣的。分散式演算法要解決時鐘、一致性問題這些問題。大資料場景的演算法不太一樣。

然後我們要想一下大資料場景有什麼問題？

大資料場景的問題

資料量大，這是一個最明顯的特點，它帶來的問題就是處理這些資料成了很大的麻煩。Hadoop是一個突破性的專案，然後在這之外我們還會有一些場景要解決。

集合中不同元素的個數, 比如, 獨立訪客(Unique Visitor，簡稱UV)統計，換成sql來寫的話就是count(distinct user_id)，假設有1000億的資料放在這裡，需要極快地算出來，可以允許一點點不精確，我們該怎麼做？

也就是，我們在很多場景下，會在允許一定犧牲一定的準確度地情況下來快速地算出結果。這一些演算法有極大的應用場景。比如redis會用到Hyperloglog來做基數統計。

這樣的一批演算法，我認為算是大資料演算法中的一部分。

內容比較多，後面會寫部落格展開來專門講。

0x02 資料工程師演算法技能一覽

在這裡做一個小總結，畫一下我認為大資料工程師需要掌握、熟悉和了解的演算法。很多其實在工作中都會經常遇到。

再放一個詳細的圖。

0XFF 總結

沒了

個人主頁：http://dantezhao.com
文章可以轉載, 但必須以超連結形式標明文章原始出處和作者資訊